贝叶斯

贝叶斯

1.贝叶斯要解决的问题
      正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出的黑球的概率是多大？
      反向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白求的比例作出什么样的预测？
      举例说明：男生占60%，女生占40%。男生总是穿长裤的，女生则一半穿长裤，一半穿长裙。
      正向概率：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大？
      逆向概率：迎面走来一个穿长裤的学生，你只看得见他（她）穿的是否是长裤，而无法确定他（她）的性别，你能够推断出他（她）是女生的概率是多大吗？
      假设学校里面人的总数是U个
      穿长裤的（男生）：U*P(Boy)P(Pants|Boy)
      P(Boy)是男生的概率=60%
      P(Pants|Boy)是条件概率，即在Boy这个条件下穿长裤的概率是多大，这里是100%，因为所有男生都穿长裤。
      穿长裤的（女生）：UP(Girl)P(Pants|Girl)
      求解：穿长裤的人里面有多少女生？
      穿长裤总数：UP(Boy)P(Pants|Boy)+ UP(Girl)P(Pants|Girl)
      P(Girl|Pants)=UP(Girl)P(Pants|Girl)/穿长裤的总数
      UP(Girl)P(Pants|Girl) /[UP(Boy)P(Pants|Boy)+ UP(Girl)*P(Pants|Girl)]
      容易发现这里校园内人的总数是无关的，可以消去。
      P(Girl|Pants) = P(Girl)*P(Pants|Girl) /[ P(Boy)*P(Pants|Boy)+ P(Girl)*P(Pants|Girl)]
                           = P(Pants, Girl)/ P(Pants)
2.贝叶斯
$$P\left(A|B\right)=\frac{P\left(B|A\right)P\left(A\right)}{P\left(B\right)}$$
      拼写纠正实例：
      问题：我们看到用户输入了一个不再字典中的单词，我们需要去猜测：这个家伙到底真正想输入的单词是什么呢？
      P(我们猜测他想输入的单词| 他实际输入的单词)
      用户实际输入的单词记为D（D代表Data，即观测数据）
      猜测1：P(h1 | D)，猜测2：P(h2 | D)，猜测3：P(h1 | D) ……统一为：P(h | D)
      P(h | D) = P(h) * P(D | h) / P(D)
      对于不同的具体猜测h1 h2 h3…,P(D)都是一样的，所以在比较P(h1 | D) 和P(h2 | D) 的时候我们可以忽略这个常数。
      P(h | D) ∝ P(h) * P(D | h)
      对于给定观测数据，一个猜测是好是坏，取决于“这个猜测本身独立的可能性大小（先验概率，Prior）”和“这个猜测生成我们观测到的数据的可能性大小”。
      贝叶斯方法计算：P(h) * P(D | h)，P(h) 是特定猜测的先验概率。
      比如用户输入tlp，那到底是top 还是tip ？这个时候，当最大似然不能作出决定性的判断时，先验概率就可以插手进来给出指示——“既然你无法决定，那么我告诉你，一般来说top 出现的程度要高许多，所以更可能他想打的是top ”。
      最大似然：最符合观测数据的（即P(D|h)）最有优势。
      奥卡姆剃刀：P(h)较大的模型有较大的优势。
      掷一个硬币，观察到的是“正”，根据最大似然估计的精神，我们应该猜测这枚硬币掷出“正”的概率是1，因为这个才是能最大化P(D|h)的那个猜测。
      如果平面上有N个点，近似构成一条直线，但绝不精确地位于一条直线上。这时我们既可以用直线来拟合（模型1），也可以用二阶多项式（模型2）拟合，也可以用三阶多项式（模型3），特别地，用N-1阶多项式便能够保证肯定能完美通过N个数据点。那么，这些可能的模型之中到底哪个最靠谱呢？
      奥卡姆剃刀：越是高阶的多项式越是不常见。（如无必要，勿增实体，剃刀原理用在mr里面，过滤冗余数据，简单的概念却大大的有益。）
3.垃圾邮件过滤实例
      问题：给定一封邮件，判定它是否属于垃圾邮件？
      D表示这封邮件，注意D由N个单词组成。我们用h+来表示垃圾邮件，h-表示正常邮件。
      P(h+|D) = P(h+) * P(D|h+) / P(D)
      P(h-|D) = P(h-) * P(D|h-) / P(D)
      先验概率：P(h+) 和P(h-)这两个先验概率都是很容易求出来的，只需要计算一个邮件库里面邮件和正常邮件的比例就行了。
      D里面含有N个单词d1，d2，d3，P(D|h+)=P(d1,d2,…,dn|h+)。P(d1,d2,…,dn|h+) 就是说在垃圾邮件当中出现跟我们目前这封邮件一模一样的一封邮件的概率是多大！
      P(d1,d2,…,dn|h+)扩展为：P(d1|h+) * P(d2|d1, h+) * P(d3|d2,d1, h+) * …
      假设di与di-1是完全条件无关的（朴素贝叶斯假设特征之间是独立，互不影响）
      简化为P(d1|h+) * P(d2|h+) * P(d3|h+) * …
      对于P(d1|h+) * P(d2|h+) * P(d3|h+) * …只要统计di 这个单词在垃圾邮件中出现的频率即可。
4.贝叶斯拼写检查实战
      求解：argmaxc P(c|w) -> argmaxc P(w|c) P（c） / P(w) 。
      P（c）, 文章中出现一个正确拼写词 c 的概率, 也就是说, 在英语文章中, c 出现的概率有多大。
      P(w|c), 在用户想键入 c 的情况下敲成 w 的概率. 因为这个是代表用户会以多大的概率把 c 敲错成 w。
      argmaxc, 用来枚举所有可能的 c 并且选取概率最大的。

# 把语料中的单词全部抽取出来，转成小写，并且去除单词中的特殊符号
def words(text):
        return re.findall('[a-z]',text.lower())
    
def train(features):
        model = collections.defaultdict(lambda :1)
        for f in features:
            model[f] += 1
        return model
    
NWORDS = train(words(open('big.txt').read()))

      要是遇到我们从来没有遇到的新闻怎么办，假如说一个词拼写完全正确，但是语料中没有包含这个词，从而这个词也永远不会出现在训练集中。于是，我们就要返回出现这个词的概率为0.这种情况不太妙，因为概率为0代表了这个事件绝对不可能发生，而在我们的概率模型中，我们期望用一个很小的概率来代表这种情况。lamda:1

alphabet = 'abcdefghijklmnopqrstuvwxyz'
NWORDS

      编辑距离:
      两个词之间的编辑距离定义为使用了几次插入（在词中插入一个单字母），删除（删除一个单字母），交换（交换相邻两个字母），替换（把一个字母换成另一个）的操作，从一个词变到另一个词。

# 返回所有与单词word编辑距离为1的集合
def edits1(word):
    n = len(word)
    return set([word[0:i]+word[i+1:] for i in range(n)] +                     # deletion删除
               [word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] + # transposition交换 
               [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] + # alteration修改替换
               [word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])  # insertion插入
len(edits1('something'))

      输出结果：494
      与something编辑距离为1的单词达到了494个

#返回所有与单词 w 编辑距离为 2 的集合
#在这些编辑距离小于2的词中间, 只把那些正确的词作为候选词
def edits2(word):
return set(e2 for e1 in edits1(word) for e2 in edits1(e1))
len(edits2('something'))

      输出结果：114324
      与something编辑距离为2的单词居然达到了114324个。
      优化：在这些编辑距离小于2的词中间，只把那些正确的词作为候选词，只能返回3个单词：‘smoothing’, ‘something’ 和 ‘soothing’。
      正常来说把一个元音拼成另一个元音的概率要大于辅音（因为人常常把hello打成hallo这样）；把单词的第一个字母拼错的概率会相对小一些，等等。但是为了简单起见，选择了一个简单的方法：编辑距离为1的正确单词比编辑距离为2的单词优先级高，而编辑距离为0的正确单词优先级比编辑距离为1的高。

# 返回编辑距离为0的单词
def known(words):
    return set(w for w in words if w in NWORDS)

#如果known(set)非空, candidate 就会选取这个集合, 而不继续计算后面的
def correct(word):
    candidates = known([word]) or known(edits1(word)) or known(edits2(word)) or word
    print(candidates)
    return max(candidates,key=lambda w:NWORDS[w])

correct('knoq')

参考文档：
李航的《统计学习方法》
周志华的《机器学习》