基于Bi-LSTM的古汉语自动分词及词性标注一体化模型

!!! 有需要的小伙伴可以通过文章末尾名片咨询我哦!!!

 💕💕作者:小马
💕💕个人简介:混迹在java圈十年有余,擅长Java、微信小程序、Python、Android等,大家有这一块的问题可以一起交流!
💕💕各类成品java系统 。javaweb,ssh,ssm,springboot等等项目框架,源码丰富,欢迎咨询交流。学习资料、程序开发、技术解答、代码讲解、源码部署,需要请看文末联系方式。

基于Bi-LSTM的古汉语自动分词及词性标注一体化模型
摘  要:本文针对古汉语自动分词和词性标注进行研究。近年来大多研究者把分词和标注视作对单字进行标签,本文借鉴了这种思路,首次提出使用二元标签模式,使一个标签同时带有分词和词性信息。利用双向长短期记忆神经网络(Bidirectional Long Short-Term Memory, Bi-LSTM)的特性,获取上下文信息,在一次计算中同时对单字进行分词及词性标记。利用同一程序进行分词和标注的结果具有统一性,避免了人工的理解差异造成的语料库分词标注标准不统一的问题。本文提出针对古代汉语的分词标注一体化模型的标签正确率可达到95%,且对于部分有疑问的标签结果可输出多种其他较为可能的结果供古文研究者选择校对。

Automatic segmentation and labeling model for ancient Chinese based on Bi-LSTM
Abstract: This paper is aimed at the segmentation and part-of-speech tagging of ancient Chinese. In recent years, most researchers have process word segmentation and labeling as the idea of labeling words. In recent years, most researchers regard word segmentation and tagging as labeling for words. This paper uses this idea for reference, and proposes a binary tagging model for the first time to make a tag contain both word segmentation and part-of-speech information. By using the characteristics of the Bidirectional Long Short-Term Memory (Bi-LSTM) neural network, the context information is obtained, and the word segmentation and part-of-speech tagging are handled simultaneously in one calculation. The results of word segmentation and labeling using the same program are uniform, which avoids the problem that the corpus segmentation labeling standard is not uniform due to the difference of artificial understanding. This paper proposes that the word labeling model for ancient Chinese can achieve 95% correctness of the word label, In addition, for some questionable label results, a variety of other likely results can be output for the Ancient Chinese researchers to use.

目录
基于Bi-LSTM的古汉语自动分词及词性标注一体化模型 1
1  绪论 2
2  研究现状 2
3 古汉语自动分词及词性标注一体化模型 3
3.1语料库数据预处理 3
本实验使用的数据来自于“中央研究院汉语标记语料库”(https://lingcorpus.iis.sinica.edu.tw/)。实验前首先对语料进行预处理:一、将语料库中使用的同类多种上古汉语词性标记转换为同一种普及化标记,例如将范围副词(DA)、语气副词(DB)、否定副词(DC)、时间副词(DD)等多种副词都化为副词(ADV)一类。二、对上古语料库中所有语料文本进行统一的Unicode编码,方便使用。 3
3.2网络结构 3
3.3 实现 4
4实验验证及性能分析 5
4.1分词 5
4.2词性标注 5
5 结语 6

更多项目:

另有1000+份项目源码,项目有java(包含springboot,ssm,jsp等),小程序,python,php,net等语言项目。项目均包含完整前后端源码,可正常运行!

!!! 有需要的小伙伴可以点击下方链接咨询我哦!!!

  • 13
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员小马软件开发定制

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值