机器学习34:贝叶斯先验概率

机器学习34:贝叶斯先验概率：

          理解贝叶斯先验概率是为了更好的理解正则化的概念。

（1）贝叶斯先验概率和贝叶斯后验概率：

          1.先验概率是指根据以往经验和分析得到的概率,即在事情发生之前事情发生的概率。它往往作为"由因求果"问题中的"因"出现；

          2.后验概率是指依据得到"结果"信息所计算出的最有可能是哪种事件发生,用于判断事情发生时由哪个原因引起的概率。是"执果寻因"问题中的”因”。

 

（2）实例理解：

         假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故，堵车的概率就是先验概率 。

         那么如果我们出门之前听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 ，也就是P(堵车|交通事故)，这是有因求果。

         如果我们已经出了门，然后遇到了堵车，那么我们想算一下堵车时由交通事故引起的概率有多大，这个就叫做后验概率 （也是条件概率），也就是P(交通事故|堵车)，这是有果求因。

 

（3）最大似然估计实例理解：

         病人到医院看病，他告诉医生说自己头痛，然后医生根据自己的经验判断出他是感冒了，然后给他开了些药回去吃。

         事实上医生在不知不觉中就用到了最大似然估计（虽然有点牵强，但大家就勉为其难地接受吧^_^）。

         大家知道头痛的原因有很多种啊，比如感冒，中风，脑溢血...那么医生凭什么说那个病人就是感冒呢？医生说这是我从医多年的经验。

         从概率的角度医生的大脑是这么工作的，他计算了一下：

           P(感冒|头痛)（头痛由感冒引起的概率，下面类似）

           P(中风|头痛)

           P(脑溢血|头痛)

         然后医生发现P(感冒|头痛)是最大的，因此就认为病人是感冒了。这个就叫最大似然估计（Maximum likelihood estimation，MLE） 。

           P(感冒|头痛)，P(中风|头痛)，P(脑溢血|头痛)是后验概率。

 

（4）贝叶斯公式：

          贝叶斯公式是给定一组关心事件的先验概率，当收到新的信息时更新事件发生概率的法则。利用贝叶斯公式我们就可以利用先验概率把后验概率算出来。

          后验概率在实际中一般是很难直接计算出来的，相反先验概率就容易多了。因此一般会利用先验概率来计算后验概率。

          之所以贝叶斯方法在机器学习中如此重要,就是因为人们希望机器人能像人那样思考,而很多问题是需要计算机在已知条件下做出最佳决策的决策,而贝叶斯公式就是对人脑在已知条件下做出直觉判断的一种数学表示。

          p（事件），也就是p（A）就是一种先验概率，p（信息|事件）就是类条件概率。

          以上文中的看病为例，由贝叶斯公式可得：

                      P(感冒|头痛)=P(头痛|感冒)P(感冒)/P(头痛)

                      注意，P(感冒)是先验概率，那么利用贝叶斯公式我们就可以利用先验概率把后验概率算出来了。

                      P(头痛|感冒)=感冒的人中头痛的人数/感冒总人数

 

（5）全概率公式：

          假如时间A的发生有B1,B2,...,Bm一共m种原因，那么全概率公式就是：

 

（6）参考资料：

          贝叶斯公式的理解（先验概率/后验概率）