贝叶斯算法（1）

一、什么是贝叶斯：

作用：用于解决逆向概率问题：根据现象学习预测总体。

什么是正向概率：假设袋子里面有N个白球，M个黑球，你把手伸进去摸一把，摸出黑球的概率是多大？

什么是逆向概率：如果我们事先不知道袋子里黑球，白球的比例，而是闭着眼睛摸出一个（或多个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面黑白球的比例做出什么样的推测。

为什么用贝叶斯：

1、现实世界本身就是不确定的，人类的观测能力是有局限性的；

2、我们日常所观察到的只是表面上的结果，因此我们需要一个猜测；

 

 

二、举例：

1、假设一个学校，女生占40%，男生占60%；男生总是长裤，女生则一半穿长裤，一半穿裙子。

正向概率：随机选取一个学生，他（她）穿长裤和穿裙子的概率是多大？可转换为：P(pants); P(dress); U为全体人数

                       P(pants) = U*P(boy)*P(pants|boy) + U*P(girl)*P(pants|girl)

                       P(dress) = U*P(boy)*P(dress|boy) + U*P(girl)*P(dress|girl)

逆向概率：迎面走来一个穿长裤的学生，只可以看见他是否穿长裤，无法确定其性别，你能推断出他是女生的概率是多少吗？

可转化为求：P(boy|pants)；P(girl|pants)

以P(girl|pants)为例进行计算：

P(girl|pants) = 即是女生又穿长裤的概率/总的穿长裤的概率

                   = U*P(girl)*P(pants|girl)/(U*P(boy)*P(pants|boy) + U*P(girl)*P(pants|girl))

                   = P(girl)*P(pants|girl)/(P(boy)*P(pants|boy) + P(girl)*P(pants|girl))(消总数U) = P(girl, pants)/P(pants)

 

所以，贝叶斯公式为：

                                                 P(A|B) = P(A)*P(B|A)/P(B)

 

 

2、举例（拼写纠正）

问题：当我们看到用户输入了一个不在字典中的单词，我们需要猜测：“真正想要输入的单词是什么？”

用概率思想可转换为：P(猜想真正要输的单词|实际输入的单词)

用D作为用户实际输入单词，猜想为P(h1|D)，P(h2|D)等，记为P(h|D)

                                                            P(h|D) = P(h)P(D|h)/P(D)

对于给定观测数据D，一个猜测的好坏取决于“这个猜测本身独立的可能性大小（先验概率P(h)）”，和“猜测生成我们观测到的数据的可能性的大小”。

如用户输入tlp，到底是top还是tip?这个时候最大似然不能做出定性判断时，先验概率可以帮助做决定：既然你无法做决定，那么我告诉你，一般top出现的程度要高许多，所以更可能他想打的是top。                                       

先验概率的重要性；这个猜测本身成立的可能性大小（先验概率）；这个猜测生成我们观测到的数据的可能性大小。

 

3、举例（垃圾邮件过滤）

问题：给定一封邮件，判定它是否是垃圾邮件

用D表示这封邮件，注意D由N个单词组成。我们用h+表示正常邮件：

                                             P(h+|D) = P(h+)*P(D|h+)/P(D)

                                                   

P(h+|D)：拿到一个邮件D,是正常邮件h+(与垃圾邮件h-)的概率

P(D|h+)： 当它是一个正常邮件时，里面有D这些词的概率

P(h+)：如在每一万封邮件中正常邮件所占比例（先验概率）

 

先验概率：P(h+)很容易求出来，只需要计算一个邮件库里垃圾邮件和正常邮件的比例；

D里面含有N个单词 d1,d2......，P(D|h+) = P(d1,d2,...,dn|h+)，说在正常邮件中出现跟我们目前这封邮件一模一样的一封邮件的概率是多大的。

P(D|h+) = P(d1,d2,...,dn|h+)可扩展为：P(d1|h+)*...*P(dn|h+)

若假设d1,d2，...，dn直接完全无关（朴素贝叶斯假设特征之间是独立的，互不影响），可简化为： P(d1|h+)*...*P(dn|h+)，只要统计di这个单词在垃圾邮件中出现的频率便好。

                                  

朴素贝叶斯（特征之间相互独立）

 

 

4、补充（模型比较理论）

奥卡姆剃刀防止过拟合。

总结：

       首先明确观察数据：D，再明确判断类别（猜想）：h，贝叶斯是求：给定一个观察样本D，问：这个样本是猜想h的可能性，也就是求概率：P(h|D)。

       直接求P(h|D)难求，可以用贝叶斯转换成P(h)*P(D|h)。P(h)：先验概率，在样本中出现猜想h的可能性；P(D|h)：这个猜想生成我们的观测数据的可能性。

 

思考：

贝叶斯分析的思路对于由证据的积累来推测一个事物发生的概率具有重大作用， 它告诉我们当我们要预测一个事物， 我们需要的是首先根据已有的经验和知识推断一个先验概率， 然后在新证据不断积累的情况下调整这个概率，整个通过积累证据来得到一个事件发生概率的过程我们称为贝叶斯分析。（先有个先验知识，再根据证据累积校正）

如果你太注重特例（即完全不看先验概率） 很有可能会误把噪声看做信号， 而奋不顾身的跳下去。

如果恪守先验概率， 就成为无视变化而墨守成规的人。其实只有贝叶斯流的人生存率会更高， 因为他们会重视特例， 但也不忘记书本的经验，根据贝叶斯公式小心调整信心，甚至会主动设计实验根据信号判断假设，这就是我们下一步要讲的。

 

第一， 理清因果链条，哪个是假设，哪个是证据。 （假设：猜想，观测：证据）

第二，给出所有可能假设，即假设空间

第三，给出先验概率

第四，根据贝叶斯概率公式求解后验概率， 得到假设空间的后验概率分布

第五，利用后验概率求解条件期望， 得到条件期望最大值对应的行为

 

朴素贝叶斯，核心在于假设证据互相独立。

 

参考：http://blog.sina.com.cn/s/blog_1554bf6b90102wrr8.html

 

实际应用场景

• 文本分类
• 垃圾邮件过滤
• 病人分类
• 拼写检查