最大后验估计_4-4 最大后验估计（MAP）和贝叶斯估计（BE）

1，频率统计与贝叶斯统计

频率统计认为事件服从特定的分布，分布的参数虽然未知但是固定。如果进行大量独立重复实验，那么事件发生的概率一定会趋向事件的真实概率。比如抛硬币实验，如果重复无数次的话，出面证明的概率会非常接近0.5. 换句话说，频率统计以大数据为基础。

贝叶斯统计认为事件的发生不是随机的，他受到知识的影响。贝叶斯统计概率来描述知识。比如在抛硬币实验中，只进行了三次实验，而这三次实验都是正面。如果根据频率统计的观点，那么正面出现的概率应该是1.但是事实上，如果硬币没有问题的话，正面出现的概率应该是0.5.所以说此时（实验次数少）的情况下，频率统计的结果并不合理。贝叶斯统计解决这种基于已知的知识，比如说，我们可以假设正面出现的概率位于

的区间内。然后基于这个假设，去估计正面出现的概率。

2，贝叶斯统计

2.1 贝叶斯公式：

称为后验概率，他表示以采样数据为条件求得的参数概率。他就是要求的量。

称为似然函数，他表示以参数

为条件，观察到采样数据的概率。

为先验概率，表示人们已知的知识。他描述了参数

各种取值的概率，是概率分布函数（PDF）。

为边缘分布。边缘分布也是一个归一化因子，把

归一化

.

. 确定了先验概率之后，边缘分布是个常数，所以有：

在抛硬币的例子中，抛硬币事件可以看成是以

为参数的二项分布，所以似然函数

可以表示为：

2.2 Beta分布：

通常会使用

分布来描述

。

因为

描述概率，所以

的定义域为

.给定a，b的值之后，

为常数。

只有

为上述表达形式时， 才满足概率分布的积分为

.

取不同值是，

的曲线如下图所示。当

时，

为均匀分布。

的均值为：

2.3 Beta分布与二项式分布是共轭先验的：

在使用贝叶斯方法进行参数估计时，如果先验概率和后验概率有相同的形式，那么就称为先验概率和后验概率是共轭先验的。共轭先验可以大幅简化计算过程。

举个例子，以Beta分布为先验概率，用二项式分布构造似然函数时，参数的后验概率也符合Beta分布。

证明Beta分布与二项式分布是共轭先验，先设事件为

,其中发生的次数为

，不发生的次数为

（

）。则似然函数，先验概率，和事件的边缘分布可以表示为：

则根据贝叶斯公司可以得参数的后验概率为：

因为

是与

无关，由

决定的常数。所以上式可以变形为：

因为分母

为分子的归一化因子，所以有：

证明完毕。

2.4 例子

假设进行了三次抛硬币实验，三次结果均为正面。分别为

，

，和

作为先验概率，则求对应的后验概率。

1，

（一无所知）

2，

（正反面出现的概率相同）

3，

（作弊，正面出现的概率极大）

2.5 贝叶斯估计（BE）

MLE使用似然函数来估计参数值，而贝叶斯估计（BE）则使用

的概率分布来估计参数值。BE认为

的所有可能性都可能会影响估计。

表示为：

计算前面例子中的参数估计，并理解先验分布对后验分布的影响：

1，

（一无所知）

2，

（正反面出现的概率相同）

3，

（作弊，正面出现的概率极大）

3，最大后验估计（MAP）

贝叶斯估计认为所有可能的

都对参数估计有贡献。而最大后验估计则是试图最大化后验概率：

MAP估计可以看作是，在优化似然函数的同时，加入了正则化项（即先验概率的对数）。

使用MAP，计算前面例子中的参数估计：

1，

（一无所知）

2，

（正反面出现的概率相同）

3，

（作弊，正面出现的概率极大）

参考资料：

https://www.zhihu.com/question/30269898

李文哲：机器学习中的MLE、MAP、贝叶斯估计

https://www.youtube.com/watch?v=2_eFIyrOdJc

http://noahsnail.com/2018/05/17/2018-05-17-%E8%B4%9D%E5%8F%B6%E6%96%AF%E4%BC%B0%E8%AE%A1%E3%80%81%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1%E3%80%81%E6%9C%80%E5%A4%A7%E5%90%8E%E9%AA%8C%E6%A6%82%E7%8E%87%E4%BC%B0%E8%AE%A1/

https://blog.csdn.net/yangliuy/article/details/8296481