中文拼写纠错_一种中文拼写检查方法与流程

本发明提出一种中文拼写检查方法,结合分词模型和混淆集,利用bi-lstm+crf进行分词,通过rnn+n-gram优化错误字识别,提高纠错准确性和效率。
摘要由CSDN通过智能技术生成

本发明涉及文字检错领域,特别是一种中文拼写检查方法。

背景技术:

在国内外相关领域研发人员的共同努力下,中文拼写检查在关键技术方面取得了重要突破,在技术运用方面也有相关产品落地,比如百度智能纠错平台,云查错等各种app,拼写检查的质量在一定程度上满足了人们的应用需求。然而,在效果上面,人们还在追求更高水平,错别字检测的准确度、句子修改的正确率、以及混淆集建立的实用性等,都有待提高。

实证研究表明,仅使用带注释的语料库不能产生令人满意的性能,因为拼写错误的学习是严重不平衡的机器学习任务,很少发生但多样化的错误形式的发现,需要更大的正确文字语料库。这种情况促使研究者通过整合有用的方法找到更好的方法。研究者观察到中文拼写错误与分词错误有紧密的正相关关系,因为拼写错误很可能导致分词错误。这种观察是有道理的,因为拼写错误可能会导致一个正确的单词产生不太可能的分段句子。从而,可以粗略地判断:所有可能的单词分割中有或没有拼写校正,具有最高可能性的分割则通常会产生正确的句子。

如果能提出一种同时解决分词和拼写错误检查的技术方案,将是十分有意义的。

技术实现要素:

为解决上述问题,本发明提供了一种中文拼写检查方法,包括如下步骤:

步骤一:构建分词模型,对待检测文本进行分词,得到分词序列;

步骤二:辨认分词序列中的可疑字,并对可疑字进行标记;

步骤四:建立混淆集;

步骤五࿱

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值