贝叶斯思维漫步

标签: 机器学习贝叶斯
4786人阅读 评论(2) 收藏 举报
分类:

现在仍然记得大学最“无聊”的一堂课之一——概率论,出勤人数三个班加起来也没超过正常一个班的数量,当然最后一堂课除外(笑)。个人感觉上课也比较枯燥,当时完全不知道概率论可以用在什么方面,所有听课也就不是那么认真,结果就是期末考试只有70多分(想想当年高数90多线性代数也90······)。然而随着大学毕业,概率论也就离我远去,好像不会再有交集。后来开始“专研”机器学习方面的知识,“朴素贝叶斯”这个名词映入我的眼帘,遥远的记忆才被唤起,记得概率论中有个贝叶斯定理,贝叶斯定理的那个公式当时完全看不明白为什么,是怎么得来的,也就只会拿来用用而已。

前几天在贝叶斯思维这本书上看到了书中所介绍的贝叶斯定理,瞬间豁然开朗,这里做简单叙述,联合概率是乘积可交换的:

p(A and B)=p(B and A) 
那么有:
p(A and B)=p(A)p(B|A) 
由于没有明确定义A B  的含义,所以可以对它们进行互换:
p(B and A)=p(B)p(A|B) 
现在可以得到:
p(A)p(B|A)=p(B)p(A|B) 
最后两边除以p(B)  得到:
p(A|B)=p(A)p(B|A)p(B)  
这样就得到了贝叶斯公式了。

书中提到另一种理解贝叶斯定理的思路:它给我们提供的是一种根据数据集D  的内容变化更新假设概率H  的方法。那么贝叶斯公式可改写成:

p(H|D)=p(H)p(D|H)p(D)  
在这种解释里,每项的意义如下:

  • p(H)  称为先验概率, 即在得到新数据前某一假设的概率。
  • p(H|D)  称为后验概率, 即在看到新数据后,要计算的该假设的概率。
  • p(D|H)  是该假设下得到这一数据的概率,称为似然度
  • p(D)  是在任何假设下得到这一数据的概率,称为标准化常量

可以通过全概率公式计算p(D)  ,即如果发生某一事件有互不相容的两个可能性,可以这样累加概率:

p(D)=p(B 1 )p(D|B 1 )+p(B 2 )p(D|B 2 ) 

来个例子?
Monty Hall难题,来自书中的例子。

  • 蒙蒂向你示意三个关闭的大门,然后告诉你每个门后面都有一个奖品:一个奖品是一辆车,另外两个是不怎么值钱的奖品。奖品随机配置。
  • 游戏的目的是要猜哪个门后面有车。如果你猜对了就可以拿走汽车。
  • 你先挑选一扇门,姑且称之为门A,其他两个称为门B和门C。
  • 在打开选中的门前,为了增加悬念,蒙蒂会先打开B或C中一个没有车的门来增加悬念(如果汽车实际上就在A门背后,那么蒙蒂打开门B或门C都是安全的,所以他可以随意选中一个)。
  • 然后蒙蒂给你一个选择。坚持最初的选择还是换到剩下的未打开的门上。

那么很多人会认为,蒙蒂打开了一个门,汽车就在剩下的两个门中,换门与不换门得到汽车的概率都一样,都是0.5。

如果,蒙蒂选择一扇门打开这个动作是独立的,也就是不受选手选择的那扇门的影响的话(也就是蒙蒂也不知道哪扇门后面有车而在剩下两扇门中随机打开),那么我认为换与不换的概率都是0.5,但问题是,蒙蒂的选择并不是一个独立事件,他根据选手的选择而做出选择(在剩下的门中选没有车的门),那么这不能用独立事件的思维思考了。

我之前见过这题,也思考过,开始也是用独立事件的思维做的,但是看了解释后发现并不是你这么回事。

现在用比较通俗的方法解释吧:
1、假设选手坚持原来的原则,得到车的概率是多少呢?嗯,他一开始就要在三扇门中选中那扇有车的门,所以概率就是1/3。
2、假设选手换门,得到车的概率是多少呢?选手换门得到车,那么他最开始选中的门是没有车的,三扇门中两扇门没车,只要选中这两扇门即可,然后换门就可以得到车,所以这种情况下得到车的概率是2/3。

下面来看看使用贝叶斯思维如何解答吧:
首先假定选手选的是A门,蒙蒂选B门打开而且里面没有车(即为贝叶斯公式中的D )。
分别假设车在门A,B,C后面的情况:
假设A,先验概率p(H)  = 1/3,似然度p(D|H)  = 1/2,那么p(H)p(D|H)  = 1/6
假设B,先验概率p(H)  = 1/3,似然度p(D|H)  = 0,那么p(H)p(D|H)  = 0
假设C,先验概率p(H)  = 1/3,似然度p(D|H)  = 1,那么p(H)p(D|H)  = 1/3
那么标准化常量p(D)  根据全概率公式得到1/6 + 0 + 1/3 = 1/2。
现在来计算下后验概率:
假设A,后验概率p(H|D)  = 1/3
假设B,后验概率p(H|D)  = 0
假设C,后验概率p(H|D)  = 2/3

可以发现,如果选手选了A门,他继续选择A门得到车的概率是1/3,而换门得到车的概率是2/3。

关于贝叶斯思维的思考今天就到这吧。

6
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:150638次
    • 积分:1980
    • 等级:
    • 排名:千里之外
    • 原创:42篇
    • 转载:0篇
    • 译文:3篇
    • 评论:44条
    博客专栏
    最新评论