贝叶斯公式的直观理解(先验概率/后验概率)

前言

以前在许学习贝叶斯方法的时候，一直不得要领，什么先验概率，什么后验概率,完全是跟想象脱节的东西，没法在脑海中构建它们，今天在听喜马拉雅的音频的时候突然感悟到，贝叶斯老人家当时想到这么一种理论的前提可能也是基于一种人的直觉

概念剖析

先验概率：是指根据以往经验和分析得到的概率

意思是说我们人有一个常识，比如骰子，我们都知道概率是1/6，而且无数次重复实验也表明是这个数，这是人的常识，也是我们在不知道任何情况下必然会说出的一个值．而所谓的先验概率是我们人在未知条件下对事件发生可能性猜测的数学表示

• 先验概率（prior probability）的分类：

利用过去历史资料计算得到的先验概率，称为客观先验概率；

当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。

后验概率：事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小

后验概率（ posterior probability ）是指通过调查或其它方式获取新的附加信息，基于它，利用贝叶斯公式对先验概率进行修正，而后得到的概率，且后续可被更新

先验概率和后验概率是相对的

如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率

• 举个栗子：

桌子上有一块肉和一瓶醋，你吃了一块肉，然后觉得是酸的，那你觉得肉里加了醋的概率有多大？你说：有80%的可能性．OK，你已经进行了一次后验概率的猜测．没错，就这么简单．

公式化:
　　我们设A为加了醋的概率，B为吃了之后是酸的概率，C为肉变质的概率　

• 思考思考再思考

那么先验概率在这个公式中有没有出现呢?
　　有,P(A)就是一种先验概率

那么什么是P(B|A)呢?
　　 类条件概率

那么P(B|A)为什么叫类条件概率呢?
　　马上解释

在写这个随笔时，我又有一种构想，所谓的后验概率，是一种果因概率，即在一个结果已经发生的条件下,可能是其中某一个原因造成的概率有多大
　　这里引用一段"概率论与数理统计"中关于贝叶斯公式的解释:

“如果我们把事件A看做’结果’,把诸事件B1,B2…看做导致这个结果的可能的’原因’,则可以形象地把全概率公式看做成为’由原因推结果’;而贝叶斯公式则恰好相反,其作用于’由结果推原因’:现在有一个’结果’A以发生,在众多可能的’原因’中,到底是哪一个导致了这结果”

由此可得：

先验概率和后验概率的区别：

先验概率的计算比较简单，没有使用贝叶斯公式；

而后验概率的计算，要使用贝叶斯公式，

而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。

• 再举个栗子

假如给你一些图片，这些图片中有的图上有动物的角，这些图片占了1/10（即先验概率），且已知在有角的条件下是犀牛的概率是0.8（类条件概率１，注意这个概率互补的概率是有角条件下不是犀牛的概率），已知在无角条件下是犀牛概率的是0.05（类条件概率２），现在拿起一张图，发现是一张犀牛的图，那么这张图上带角的概率有多大（求后验概率）

由图中公式可知Ｐ（图片上由动物的角｜是犀牛）＝0.80.1/(0.80.1+0.05*0.9)=0.64

可以看到Ｐ(图片上由动物的角且是犀牛)＝0.08与Ｐ（是犀牛｜图片上由动物的角）＝0/8之间差别非常大．

再通过比较可以发现，分母中的类条件概率实际上把一个完整的问题集合Ｓ通过特征进行了划分，划分成Ｓ1／Ｓ2／Ｓ3… ，用果因概率来看，类条件概率中的类指的是把造成结果的所有原因一一进行列举，分别讨论

• 总结：

＂概率论只不过是把常识用数学公式表达了出来＂ – 拉普拉斯

我想之所以贝叶斯方法在机器学习中如此重要，就是因为人们希望机器人，能像人那样思考，而很多问题是需要计算机在已知条件下，做出最佳决策的决策
　　而贝叶斯公式正是，对人脑在已知条件下做出直觉判断的一种数学表示