自然语言理解（NLU）-文本纠错学习笔记1

1概念理解：

首先，文本纠错是实现文本语句自动检查、自动纠错的一项重要技术，提高语言的正确性并减少人工成本。

通常类型有：语音转换语言转换、发音不标准、拼写错误、语法错误（多打漏打乱序等）、知识错误（概念模糊）等

2目前研究现状：

目前纠错方法主要分为两个方向：基于规则和基于深度模型

基于规则：第一步是错误检测，第二步是错误纠正

错误检测：先通过结巴中文分词器切词，由于句子中含有错别字，所以切词结果往往会有切分错误的情况，这样从字粒度和词粒度两方面检测错误， 整合这两种粒度的疑似错误结果，形成疑似错误位置候选集；

错误纠正：遍历所有的疑似错误位置，并使用音似、形似词典替换错误位置的词，然后通过语言模型计算句子困惑度，对所有候选集结果比较并排序，得到最优纠正词。

深度模型： 具体可参照下文中“其他”部分的第三类方法

端到端的深度模型可以避免人工提取特征，减少人工工作量，RNN序列模型对文本任务拟合能力强，rnn_attention在英文文本纠错比赛中取得第一名成绩，证明应用效果不错；

CRF会计算全局最优输出节点的条件概率，对句子中特定错误类型的检测，会根据整句话判定该错误，阿里参赛2016中文语法纠错任务并取得第一名，证明应用效果不错；

seq2seq模