贝叶斯算法

贝叶斯算法

###贝叶斯算法需要解决的问题：
1. 正向概率
假设袋子中n白球，m黑球，摸到黑球概率多大
2. 逆向概率
事先不知道袋子中黑白球个数，从袋子中摸出一个或几个球，观察这些取出球的颜色，以此来推断袋中白黑球的比例。

###为什么需要贝叶斯
现实世界本身就是不确定的，假设黑白球数量无限大，人类观察能力有限，我们不可能完全观察出整个黑白球的数量。只能随机抽，观察抽出来的球的颜色，可以多抽几次，以此来推断现实中黑白球的分布。

###实际案例1

假如有男女生比例6：4，男生总穿长裤，女生一半穿长裤，一般穿短裤。现在求迎面走来一个穿长裤的人推断他（她）是女生的概率。

假设学校总人数U，穿长裤是男生：U*P(boy)*P(pants|boy)
- p(boy)=0.6
- p(pants/boy)=1

穿长裤是女生：U*P(girl)P(pants/girls)
穿长裤总数：UP(boy)P(pants|boy)+UP(girl)P(pants/girls)
P(girl/pants)=UP(girl)P(pants/girls)/UP(boy)P(pants|boy)+UP(girl)*P(pants/girls)
那么我们考虑下求解问题和总人数有关系吗？上式是可以把U约减的，所以和总人数没有关系。
P(girl/pants)=P(girl)*P(pants/girls)/P(boy)*P(pants|boy)+P(girl)*P(pants/girls)
则：分母就是P(pants),分子就是P(pants,girl)

• 贝叶斯公式：
  p(a/b)=p(b/a)*p(a)/p(b)

###实际案例2：拼写纠正

• 问题：用户输入了一个不在字典中的单词，猜测他想输入的单词是什么

• 求解p(想要输入的单词/实际输入的单词)

用户实际输入单词为D,猜测1:p(h1|D),猜测2：p(h2|D)等等。统一为：p(h|D).则根据贝叶斯公式，p(h|D)=p(h)*p(D|h)/p(D).

对于不同的猜测p(D)都是一样的，所以在我们可以忽略p(D)这个常数。

• p(h|D)$\propto$ p(h)*p(D|h)

对于观测数据，一个猜测是好是坏，取决于这个猜测本身可能性大小（先验概率）和这个猜测生成我们观测数据的可能性大小。这个猜测本身可能性大小可以通过统计的方式得出，然后p(D|h)可以通过两个单词的编辑距离大小来得出一个可能性。

但是当我们最大似然不能作出决定性判断时，比如用户输入tlp，我们无法判断是输入top还是tip。则这个时候可以根据先验概率来决定，加入top出现频次高，我们就认为他可能更想打top。

###模型比较理论

• 最大似然：最符合观测数据的（就是P(D|h)最大的）最有优势

• 奥卡姆剃刀：P(h)较大的模型有较大的优势