Python：贝叶斯拼写检查器

前言：十几年前的代码，如今看起来还是很牛逼，是我目前看到最漂亮的代码，特意结合思路写了一些注释

import re
import collections

def words(text):
    '''把语料中的单词全部抽取出来，转成小写，并且去除单词中间的特殊符号'''
    return re.findall('[a-z]+', text.lower())

def train(features):
    '''通过defaultdict把上面列表中的单词组合成{'A': 3, 'B': 4}这样的字典格式，
    且如果出现没有的key，最小值就是1（比如model里没有c,输入model['c']的输出结果就是1）'''
    model = collections.defaultdict(lambda: 1)
    for f in features:
        model[f] += 1
    return model

def edits1(word):
    '''返回所有与单词w编辑距离为1的集合；
    编辑距离：两个词之间的编辑距离定义为使用了几次插入（在词中插入一个单字母），删除（删除一个单字母），
    交换（交换相邻两个字母），替换（把一个字母换成另一个）的操作从一个词变到另一个词'''
    n = len(word)
    return set([word[0:i] + word[i+1:] for i in range(n)] +                         #deletion
               [word[0:i] + word[i+1] + word[i+2:] for i in range(n-1)] +           #transposition
               [word[0:i] + c + word[i+1:] for i in range(n) for c in alphabet] +   #alteration
               [word[0:i] + c+word[i:] for i in range(n+1) for c in alphabet])      #insertion

def known_edits2(word):
    '''1、计算与给定单词编辑距离为1的单词列表；
    2、计算与编辑距离为1的单词列表的编辑距离为1的列表（也就是编辑距离为2的单词列表）；
    3、如果单词编辑距离为2的单词在文本中，就认为是可用的单词；
    下面的代码可以转为：
    for e1 in edits1(word):
        for e2 in edit1(e1):
            if e2 in NWORDS:
                return e2'''
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)

def known(words):
    '''注意，这里输入的words虽然是一个字符串，但是在correct里是known([word])，也就是一个列表+字符的格式，比如['was']；
    所以实际含义是：如果列表w中的元素存在于NWORDS中，就把w放在集合中'''
    return set(w for w in words if w in NWORDS)

def correct(word):
    '''如果known(set)非空，candidates就会选取这个集合，而不继续计算后面的；
    另外return中用了max的函数，同时key是NWORDS里的value，就是对set中的元素取概率最大的'''
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    return max(candidates, key=lambda w: NWORDS[w])

NWORDS = train(words(open('Jane Eyre - Charlotte Bronte.txt').read()))
alphabet = 'abcdefghijklmnopqrstuvwxyz'
NWORDS_dict = sorted(NWORDS.items(), key=lambda x:x[1], reverse=True) #根据字典的值降序排列

# print(correct('was'))