基于贝叶斯算法的拼写检查器

原理

拼写检查器：给定一个单词, 如果单词是拼写错误的，我们的任务是选择和它最相似的拼写正确的单词。如果这个单词是正确的, 那么就是它自己。当然, 不可能绝对的找到相近的单词, 比如说给定 lates 这个单词, 它应该别更正为 late 呢还是 latest 呢? 这些困难指示我们, 需要使用概率论, 而不是基于规则的判断。所以它的原理就是：给定一个词 w, 在所有正确的拼写词中, 我们想要找一个正确的词 c, 使得对于 w 的条件概率最大, 即

argmaxc P(c|w)

根据贝叶斯公式我们可以得出

argmaxc P(w|c)= P(c )/ P(w)

1. P(c )指文章中出现一个正确拼写词 c 的概率, 也就是说, 在你所使用训练集的英语文章中, c 出现的概率。

2. P(w|c),指在用户想键入 c 的情况下敲成 w 的概率。本文中此概率用编辑距离来算。
   因为用户可以输错任何词, 因此对于任何 c 来讲, 出现 w 的概率 P(w) 都是一样的, 从而我们在上式中忽略它, 写成:

argmaxc P(w|c) P(c )

需要用到的函数

• re 库是关于正则表达式的一个库。这里面包含了多种字符串匹配的方法。
  re.findall(pattern, string[,flags] ) 查找字符串中所有(非重复)出现的正则表达式模式，并返回一个匹配列表。
• collections.defaultdict（lambda:1),这种方式可以为一个字典对象不存在的key自动给出一个默认的value值1（和哈希表很类似）。

代码实现

首先把文章中所有的单词取出来，转化成小写，并去除单词中的特殊符号。

def words(text): return re.findall('[a-z]+',text.lower())

统计每个词在训练集中出现的次数

def train(features):
    model = collections.defaultdict(lambda: 1) #所训练的数据集中有可能有包含不到的词，而这些词也是正确的，所以设置lambda：1，让每个词出现的次数默认为1
    for f in features:
        model[f] += 1
    return model

然后的问题是: 给定一个单词 w, 怎么能够枚举所有可能的正确的拼写呢? 这里就需要用到编辑距离。这两个词之间的编辑距离定义为使用了几次插入(在词中插入一个单字母), 删除(删除一个单字母), 交换(交换相邻两个字母), 替换(把一个字母换成另一个)的操作从一个词变到另一个词.
下面这个函数可以返回所有与单词 w 编辑距离为 1 的集合。

alphabet = 'abcdefghijklmnopqrstuvwxyz'
def edits1(word):
    n = len(word)
    return set([word[0:i]+word[i+1:] for i in range(n)] +                     # 少一个字母的情况
               [word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] + # 字母调换的情况
               [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] + # 修改字母情况
               [word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])  # 插入字母的情况

为了提高正确率，在这里虑编辑距离为 2 的单词。

NWORDS = train(words(fr))
def known_edits2(word):
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)

最后选择输出单词的方法为：编辑距离为1的正确单词比编辑距离为2的优先级高, 而编辑距离为0的正确单词优先级比编辑距离为1的高，优先级高的先输出。

def known(words): return set(w for w in words if w in NWORDS)
def correct(word):
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    return max(candidates, key=lambda w: NWORDS[w])

最后进行验证

完整代码

import pandas as pd
import numpy as np
import re,collections
fr=open('data set.txt').read()
def words(text): return re.findall('[a-z]+',text.lower())#把文章中所有的单词取出来，转化成小写，并去除单词中的特殊符号
def train(features):
    model = collections.defaultdict(lambda: 1) #所训练的数据集中有可能有包含不到的词，而这些词也是正确的，所以设置lambda：1，让每个词出现的次数默认为1
    for f in features:
        model[f] += 1
    return model
NWORDS = train(words(fr))
alphabet = 'abcdefghijklmnopqrstuvwxyz'
def edits1(word):
    n = len(word)
    return set([word[0:i]+word[i+1:] for i in range(n)] +                     # 少一个字母的情况
               [word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] + # 字母调换的情况
               [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] + # 修改字母情况
               [word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])  # 插入字母的情况
def known_edits2(word):
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)
def known(words): return set(w for w in words if w in NWORDS)
def correct(word):
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    return max(candidates, key=lambda w: NWORDS[w])

输入：correct('错误单词')
输出：正确单词