0.中文文本自动纠错
在使用搜索引擎和电商的搜索功能时,”博客园“,输成”博客员”了,建立在大数据上的搜索引擎会自动纠错,如:就这个例子Google和Baidu返回给我的分别是:显示以下查询字词的结果: 博客园 和 您要找的是不是: 博客园 ,他们都做到了自动纠错,尝试过n-gram,主流的计算串间的距离(可理解为相似度)是Levenshtein
1.百度中文纠错技术
百度中文纠错一方面需要支持多种类型的错误识别,另一方面需要支持不同模态的输入数据,同时还需要提供快速的场景迁移以及深度定制能力。
2.基于语言模型的拼写纠错
给定一个自然语言的句子,识别出其中出错的汉字或词语,并对其进行纠正
3.美团BERT的探索和实践
模型优化