贝叶斯公式的理解（先验概率/后验概率）

原文：贝叶斯公式的直观理解(先验概率/后验概率)

前言

　　以前在许学习贝叶斯方法的时候一直不得要领,什么先验概率,什么后验概率,完全是跟想象脱节的东西,今天在听喜马拉雅的音频的时候突然领悟到,贝叶斯老人家当时想到这么一种理论前提可能也是基于一种人的直觉.

下面的定义摘自百度百科：

先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现.

后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因".

 

举个栗子

　　首先我想问一个问题,桌子上如果有一块肉喝一瓶醋,你如果吃了一块肉,然后你觉得是酸的,那你觉得肉里加了醋的概率有多大?你说:80%可能性加了醋.OK,你已经进行了一次后验概率的猜测.没错,就这么简单.

 

形式化:

　　我们设A为加了醋的概率,B为吃了之后是酸的概率.C为肉变质的概率

思考思考再思考

　　那么先验概率在这个公式中有没有出现呢?有,P(A)就是一种先验概率.

　　那么什么是P(B|A)呢? 类条件概率.

　　那么P(B|A)为什么叫类条件概率呢?马上解释.

　　在写这个随笔之时,我脑子中又有一种构想,所谓的后验概率,是一种果因概率,即在一个结果已经发生的条件下,可能是其中某一个原因造成的概率有多大.这里引用一段"概率论与数理统计"[2]中关于贝叶斯公式的解释:

那么这个P(原因1导致结果)和P(结果|原因1)之间到底有什么联系呢?让我们举一个图像识别的例子

再举个栗子

　　假如给你一些图片,这些图片中有的图上有动物的角,这些图片占了1/10(即先验概率),且已知在有角的条件下是犀牛的概率是0.8(类条件概率1,注意这个概率互补的概率是有角条件下不是犀牛的概率),已知在无角条件下是犀牛概率的是0.05(类条件概率2),现在拿起一张图,发现是一张犀牛的图,那么这张图上带角的概率有多大(求后验概率)

 

由图中公式可知P(图片上由动物的角|是犀牛) = 0.8*0.1/(0.8*0.1+0.05*0.9)=0.64

　　可以看到P(图片上由动物的角且是犀牛)=0.08与P(是犀牛|图片上由动物的角)=0.8之间差别非常大.

　　再通过比较可以发现,分母中的类条件概率实际上把一个完整的问题集合S通过特征进行了划分,划分成S1/S2/S3...,拿我刚刚提出的所谓果因概率来讨论,类条件概率中的类指的是把造成结果的所有原因一(yi) 一(yi)进行列举,分别讨论.

总结:

我想之所以贝叶斯方法在机器学习中如此重要,就是因为人们希望机器人能像人那样思考,而很多问题是需要计算机在已知条件下做出最佳决策的决策,而贝叶斯公式就是对人脑在已知条件下做出直觉判断的一种数学表示.

参考：

数学之美---先验概率与后验概率、贝叶斯区别与联系

先验概率，后验概率