贝叶斯原理推导

1. 贝叶斯简介

• 贝叶斯Thomas Bayes,英国数学家
• 贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章。
• 贝叶斯要解决的问题：
  • 正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率有多大？
    • 黑球数量/总球数量
  • 逆向概率：如果我们事先不知道袋子里黑白球的比例，而是闭着眼睛摸出一个（好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测。
• 为什么使用贝叶斯？
  • 现实世界本身就是不确定的，人类的观察能力是有局限性的
  • 我们日常所观察到的只是事物表面上的结果，因此我们需要提供一个猜测。

2. 贝叶斯推导实例

有个学校，男生占60%，女生占40%。男生总是穿长裤，女生一半穿长裤一半穿裤子。

• 正向概率：随机选择一个学生，他（她）穿长裤的概率和穿裙子的概率是多大
• 逆向概率：迎面走来一个学生，你能够看的见他（她）穿的是否是长裤，而无法确定性别，你能够推断出他（她）是女生的概率是多大？
• 求解穿长裤的人里面有多少女生
  • 假设学校里面总人数是U个
  • 穿长裤的男生：U * P(Boy) * P(Pants|Boy)
    • P(Boy)是男生的概率=60%
    • P(Pants|Boy)是条件概率，即在Boy这个条件下穿长裤的概率是多大，这里是100%，因为所有男生都穿长裤。
  • 穿长裤的女生：U * P(Girl) * P(Pants|Girl)
  • 穿长裤总数：U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)
  • P(Girl|Pants) = U * P(Girl) * P(Pants|Girl)/穿长裤总数
  • 化简后： P(Girl|Pants) = P(Girl) * P(Pants|Girl)/P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)
  • 化简后发现与校园内的总数无关，可以消去。
  • 分母其实就是P(Pants)
  • 分子其实就是P(Pants,Girl)
• 贝叶斯公式：

3. 拼写纠正实例

问题是我们看到用户输入了一个不在字典中的单词，我们需要去擦测用户真正想输入的单词是什么？

• P(我们擦测它输入的单词|他实际输入的单词)
• 用户实际输入的单词记为D

  • 猜测1：P(h1|D)，猜测2：P(h2|D)，猜测3：P(h3|D)…统一为：P(h|D)

  • P(h|D)=P(h)*P(D|h)/P(D)

    • P(h):代表猜测的词在字典中出现的概率，比如语料库中有10000个词（有重复），the出现5000次，那么P(the)=5000/10000。P(h)其实是一个先验概率，拿到数据之后，可以事先统计好。
    • P(D|h)：想输一个词，输错的概率。比如，D：tha,h:the，P(D|h)表示想输入the,输的是tha的概率有多大。

  • 对于具体的不同的猜测h1,h2,h3…，P(D)都是一样的，所以在比较P(h1|D)和P(h2|D)的时候我们可以忽略这个常数

  • P(h|D) 正比于 P(h)*P(D|h)

    对于给定的观测数据，一个猜测的是好是坏取决于“这个猜测先验概率的大小”和“这个猜测生成我们观测到的数据的可能性大小（the写成tha的概率大小）”。

• 贝叶斯方法计算：P(h)*P(D|h),P(h)是特定猜测的先验概率
• 比如用户输入tlp,那到底是top还是tip呢？这个时候，当最大似然估计不能做出判断时，先验概率就可以插手进来给出指示——top出现的程度要高许多，所以更可能输入的是top。

4. 垃圾邮件过滤实例

问题：给定一封邮件，判定它是否属于垃圾邮件，D表示这封邮件，D由N个单词组成。用h+来表示垃圾邮件，h-表示正常邮件。

• P(h+|D)=P(h+) * P(D|h+)/P(D)
• P(h-|D)=P(h-) * P(D|h-)/P(D)
• P(h+)和P(h-)这两个先验概率都是很容易求出来的，要计算一个邮件库里面垃圾邮件和正常邮件的比例就行了。
• D里面含有N个单词d1,d2,d3…，P(D|h+)=P(d1,d2,…,dn|h+)
  • P(d1,d2,…,dn|h+)就是说在垃圾邮件当中出现跟我们这封邮件一模一样的一封邮件的概率是多大！(可想而知，一模一样的概率会非常小，但是我们判定为垃圾邮件不一定要一模一样，大致相同就认为是垃圾邮件了。)
  • P(d1,d2,…,dn|h+)扩展为：P(d1|h+) * P(d2|d1,h+) * P(d3|d2,d1,h+) * …
• 把原始贝叶斯转换为朴素贝叶斯。假设di与di-1是完全条件无关的（朴素贝叶斯假设特征之间是独立的，互不影响。）
  • 简化为：P(d1|h+) * P(d2|h+) * P(d3|h+) * …
  • 对于P(d1|h+) * P(d2|h+) * P(d3|h+) * … 只要统计di这个单词在垃圾邮件中出现的频率即可。