概率论模型

后验概率

后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的”果”。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。

事情还没有发生，要求这件事情发生的可能性的大小，是先验概率。事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小，是后验概率。

举个例子：
假如给你一些图片，这些图片中有的图上有动物的翅膀，这些图片占了1/10(即先验概率)，且已知在有翅膀的条件下是鸟的概率是0.8。

注意：在有翅膀的条件下是鸟的概率的互补概率是有翅膀但不是鸟的概率。

已知在没有翅膀条件下是鸟概率的是0.01，现在拿起一张图，发现是一张鸟的图，那么这张图上有的概率有多大(求后验概率)？

先验概率与后验概率的区别

先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的资料(主要是历史资料)计算的；
后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料；
先验概率的计算比较简单，没有使用贝叶斯公式。而后验概率的计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。

最大后验法

假设我们需要根据观察数据x估计没有观察到的总体参数θ，让f作为x的采样分布，这样f(x∣θ)就是总体参数为θ时x的概率。假设θ存在一个先验分布g，最大后验估计 ( MAP ) 方法于是估计θ为这个随机变量的后验分布的众数：

MAP 估计可以通过以下几种方式计算：

解析方法，当后验分布的模能够用解析解方式表示的时候用这种方法。当使用共轭先验的时候就是这种情况。
通过如共扼积分法或者牛顿法这样的数值优化方法进行，这通常需要导数，导数需要通过解析或者数值方法得到。
通过期望最大化算法的修改实现，这种方法不需要后验密度的导数。
简单来说，最大后验就是多个作为因子的先验概率。或者，也可以反过来，认为最大似然是把先验概率认为等于1，即认为变量是均匀分布。

当先验分布均匀之时，MAP 估计与 MLE 相等。直观讲，它表征了最有可能值的任何先验知识的匮乏。在这一情况中，所有权重分配到似然函数，因此当我们把先验与似然相乘，由此得到的后验极其类似于似然。因此，最大似然方法可被看作一种特殊的 MAP。如果先验认为这个硬币是概率是均匀分布的，被称为无信息先验，通俗的说就是“让数据自己说话”，此时贝叶斯方法等同于频率方法。

随着数据的增加，先验的作用越来越弱，数据的作用越来越强，参数的分布会向着最大似然估计靠拢。而且可以证明，最大后验估计的结果是先验和最大似然估计的凸组合。

!](https://img-blog.csdnimg.cn/35f07a133237407ca2beec865af5e80c.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5Yqq5Yqb55qE5bCP55Cq,size_20,color_FFFFFF,t_70,g_se,x_16)

检测恶意留言的贝叶斯分类器实践

我们通过上述的朴素贝叶斯方法的过程，尝试建立一个贝叶斯分类器，用来检测恶意性留言。其中我们的训练样本为：

[['I', 'pig', 'has', 'flea', 'problems', 'help', 'please'],['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],['my', 'dalmation', 'is', 'so', 'cute'