前言
本文主要介绍了代码实战,即基于语言模型的拼写纠错,包含任务描述、实现和语法纠错的应用。
一、拼写纠错任务概述
在实现QA系统或者检索系统时,需要用户给出输入,用户在输入问题的时候,不能期待他一定会输入正确,有可能输入的单词的拼写是错误的。在一个完备的系统中,需要后台能够及时捕获拼写错误,并进行纠正,然后再通过修正之后的结果再跟库里的问题进行匹配。这里来实现一个简单的拼写纠错模块,自动去修复错误的单词。
纠错模块是基于Noisy Channel Model噪音通道模型:
c ∗ = argmax c ∈ candidates p ( c