贝叶斯推断

原文链接：

http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html

http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_two.html

http://www.ruanyifeng.com/blog/2012/10/spelling_corrector.html

 

以下为笔记：

贝叶斯推断是贝叶斯定理的应用。

 

1.贝叶斯定理：实际上就是条件概率公式。

条件概率(Conditional probability)：就是只事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。

​

P(A|B)=P(A∩B)/P(B) =>P(A∩B)=P(A|B)*P(B), 同理可得=>P(A∩B)=P(B|A)*P(A) , 所以 P(A|B)*P(B)=P(B|A)*P(A)，即  P(A|B)=P(B|A)*P(A)/P(B)。

 

2. 全概率公式

P(B)=P(B∩A)+P(B∩A')=P(B|A)*P(A)+P(B|A')*P(A') 

这就是全概率公式：如果A和A'构成样本空间的一个划分，那么事件B的概率，就等于A和A'的概率分别乘以B对这两个事件的条件概率之和。

因此条件概率公式：P(A|B)=P(B|A)*P(A)/ ( P(B|A)*P(A)+P(B|A')*P(A') )

 

3.贝叶斯推断：

P(A|B)=P(A)*P(B|A)/P(B)：=> 后验概率=先验概率 * 调整因子

P(A)："先验概率" (Prior probability) , 即在B事件发生之前，我们对A事件概率的一个判断；

P(A|B)："后验概率"（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估；

 

P(B|A)/P(B)："可能性函数"（Likelyhood），这是一个调整因子，使得预估概率更接近真实概率

在这里，如果"可能性函数"P(B|A)/P(B)>1，意味着"先验概率"被增强，事件A的发生的可能性变大；如果"可能性函数"=1，意味着B事件无助于判断事件A的可能性；如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小。

 

4.例子：

栗子1：

 

两个一模一样的碗，一号碗有30颗水果糖和10颗巧克力糖，二号碗有水果糖和巧克力糖各20颗。现在随机选择一个碗，从中摸出一颗糖，发现是水果糖。请问这颗水果糖来自一号碗的概率有多大？

我们假定，H1表示一号碗，H2表示二号碗。由于这两个碗是一样的，所以P(H1)=P(H2)，也就是说，在取出水果糖之前，这两个碗被选中的概率相同。因此，P(H1)=0.5，我们把这个概率就叫做"先验概率"，即没有做实验之前，来自一号碗的概率是0.5。

再假定，E表示水果糖，所以问题就变成了在已知E的情况下，来自一号碗的概率有多大，即求P(H1|E)。我们把这个概率叫做"后验概率"，即在E事件发生之后，对P(H1)的修正。

根据条件概率公式，得到 P(H1|E)=P(H1)*P(E|H1)/P(E)

已知，P(H1)等于0.5，P(E|H1)为一号碗中取出水果糖的概率，等于0.75，那么求出P(E)就可以得到答案。根据全概率公式，