简单介绍
拼写检查器是个非常常用的工具,现在几乎所有涉及到搜索的网站都已经实现了这个功能。那拼写检查器是不是很复杂呢?不是的,只要你明白一点贝叶斯公式的原理,你就能写出一个拼写检查器来。
什么是贝叶斯公式
贝叶斯定理是关于随机事件A和B的条件概率的一则定理。
P(c|w) = P(w|c) P(c) / P(w)
P(c|w):指的是w情况下c发生的概率
P(w|c):指的是已知c发生后,发生w的概率
P(c) , P(w):分别指的是c,w独立发生的概率。
这个公式用处非常广泛,概率论和统计学都离不了它。
那么在拼写检查器中贝叶斯公式起什么作用呢?
很简单,我们可以把 P(c|w)看成本来要输入c结果输入成w的概率。现在按照贝叶斯公式的展开,这个概率等于P(w|c) P(c) / P(w)
其中P(c) , P(w)分别为c和w两个单词在语料库中出现的概率,要求出任何一个单词出现的概率其实很简单,只要通过大量的语料训练就可以找出来了。而在这个地方,p(w)还可以省略掉,应为我们并不是要确切的求出一个概率来,我们只需要一个概率来帮助我们判断出哪个词是最可能正确的。而在一次输入错误中,p(w)是恒定的,所以可以省略。P(w|c) 则比较麻烦,它表示在拼写c的情况下,出现拼写错误w的概率。这里就需要概率学做理论支撑了。一般来说,看起来越像的单词拼错的概率越大,而一个单词有多少种拼错的可能呢?无非就少拼,多拼,位置不对,拼错四种可能。