本发明涉及文字检错领域,特别是一种中文拼写检查方法。
背景技术:
在国内外相关领域研发人员的共同努力下,中文拼写检查在关键技术方面取得了重要突破,在技术运用方面也有相关产品落地,比如百度智能纠错平台,云查错等各种app,拼写检查的质量在一定程度上满足了人们的应用需求。然而,在效果上面,人们还在追求更高水平,错别字检测的准确度、句子修改的正确率、以及混淆集建立的实用性等,都有待提高。
实证研究表明,仅使用带注释的语料库不能产生令人满意的性能,因为拼写错误的学习是严重不平衡的机器学习任务,很少发生但多样化的错误形式的发现,需要更大的正确文字语料库。这种情况促使研究者通过整合有用的方法找到更好的方法。研究者观察到中文拼写错误与分词错误有紧密的正相关关系,因为拼写错误很可能导致分词错误。这种观察是有道理的,因为拼写错误可能会导致一个正确的单词产生不太可能的分段句子。从而,可以粗略地判断:所有可能的单词分割中有或没有拼写校正,具有最高可能性的分割则通常会产生正确的句子。
如果能提出一种同时解决分词和拼写错误检查的技术方案,将是十分有意义的。
技术实现要素:
为解决上述问题,本发明提供了一种中文拼写检查方法,包括如下步骤:
步骤一:构建分词模型,对待检测文本进行分词,得到分词序列;
步骤二:辨认分词序列中的可疑字,并对可疑字进行标记;
步骤四:建立混淆集;
步骤五