后验概率
后验概率是指在得到“结果”的信息后重新修正的概率,是“执果寻因”问题中的”果”。先验概率与后验概率有不可分割的联系,后验概率的计算要以先验概率为基础。
事情还没有发生,要求这件事情发生的可能性的大小,是先验概率。事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率。
举个例子:
假如给你一些图片,这些图片中有的图上有动物的翅膀,这些图片占了1/10(即先验概率),且已知在有翅膀的条件下是鸟的概率是0.8。
注意:在有翅膀的条件下是鸟的概率的互补概率是有翅膀但不是鸟的概率。
已知在没有翅膀条件下是鸟概率的是0.01,现在拿起一张图,发现是一张鸟的图,那么这张图上有的概率有多大(求后验概率)?
先验概率与后验概率的区别
先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的资料(主要是历史资料)计算的;
后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料;
先验概率的计算比较简单,没有使用贝叶斯公式。而后验概率的计算,要使用贝叶斯公式,而且在利用样本资料计算逻辑概率时,还要使用理论概率分布,需要更多的数理统计知识。
最大后验法
假设我们需要根据观察数据x估计没有观察到的总体参数θ,让f作为x的采样分布,这样f(x∣θ)就是总体参数为θ时x的概率。假设θ存在一个先验分布g,最大后验估计 ( MAP ) 方法于是估计θ为这个随机变量的后验分布的众数:
MAP 估计可以通过以下几种方式计算:
解析方法,当后验分布的模能够用解析解方式表示的时候用这种方法。当使用共轭先验的时候就是这种情况。
通过如共扼积分法或者牛顿法这样的数值优化方法进行,这通常需要导数,导数需要通过解析或者数值方法得到。
通过期望最大化算法的修改实现,这种方法不需要后验密度的导数。
简单来说,最大后验就是多个作为因子的先验概率。或者,也可以反过来,认为最大似然是把先验概率认为等于1,即认为变量是均匀分布。
当先验分布均匀之时,MAP 估计与 MLE 相等。直观讲,它表征了最有可能值的任何先验知识的匮乏。在这一情况中,所有权重分配到似然函数,因此当我们把先验与似然相乘,由此得到的后验极其类似于似然。因此,最大似然方法可被看作一种特殊的 MAP。如果先验认为这个硬币是概率是均匀分布的,被称为无信息先验,通俗的说就是“让数据自己说话”,此时贝叶斯方法等同于频率方法。
随着数据的增加,先验的作用越来越弱,数据的作用越来越强,参数的分布会向着最大似然估计靠拢。而且可以证明,最大后验估计的结果是先验和最大似然估计的凸组合。
!](https://img-blog.csdnimg.cn/35f07a133237407ca2beec865af5e80c.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5Yqq5Yqb55qE5bCP55Cq,size_20,color_FFFFFF,t_70,g_se,x_16)
检测恶意留言的贝叶斯分类器实践
我们通过上述的朴素贝叶斯方法的过程,尝试建立一个贝叶斯分类器,用来检测恶意性留言。其中我们的训练样本为:
[['I', 'pig', 'has', 'flea', 'problems', 'help', 'please'],['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],['my', 'dalmation', 'is', 'so', 'cute'