菜鸟学概率统计——最大后验概率（MAP)

最新推荐文章于 2024-05-23 15:43:21 发布

qulay

最新推荐文章于 2024-05-23 15:43:21 发布

阅读量4w

点赞数 37

分类专栏：数学

本文链接：https://blog.csdn.net/klqulei123/article/details/52781643

版权

最大似然估计：把待估计的参数看作是确定性的量（只是其取值未知），其最佳估计就是使得产生已观察到的样本（即训练样本）的概率为最大的那个值。（即求条件概率密度p(D|＄)为最大时的＄，其中D为样本集，＄为条件概率密度分布的参数）。特点：简单适用；在训练样本增多时通常收敛得很好。只考虑某个模型能产生某个给定观察序列的概率，而未考虑该模型本身的概率，这点与贝叶斯估计区别。目标是寻求能最大化likehood

摘要由CSDN通过智能技术生成

最大似然估计：把待估计的参数看作是确定性的量（只是其取值未知），其最佳估计就是使得产生已观察到的样本（即训练样本）的概率为最大的那个值。（即求条件概率密度p(D|＄)为最大时的＄，其中D为样本集，＄为条件概率密度分布的参数）。特点：简单适用；在训练样本增多时通常收敛得很好。只考虑某个模型能产生某个给定观察序列的概率，而未考虑该模型本身的概率，这点与贝叶斯估计区别。

目标是寻求能最大化likehood:的值。可以写出目标函数：

$p(X|\theta )=\prod_{x1}^{xn}p(xi|\theta )$

一般使用对数来进行简化处理：

$p(X|\theta )=\prod_{x1}^{xn}p(xi|\theta )=\sum_{x1}^{xn}logp(xi|\theta )$

要最大化L，对L求导数并令导数为0即可求解。

最大后验估计（MAP－Maxaposterior）：求p(D|＄)*p($)取最大值的那个参数向量＄，最大似然估计可以理解为当先验概率p($)为均匀分布时的MAP估计器。（MAP缺点：如果对参数空间进行某些任意非线性变换，如旋转变换，那么概率密度p($)就会发生变化，其估计结果就不再有效了。）根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，但是最大的不同时，最大后验估计的融入了要估计量的先验分布在其中，可看做是规则化的最大似然估计。

和极大似然估计不同的是，MAP寻求的是能使后验概率 $p(\theta |X)$ 最大的 $\theta$ 值。

$argmax p(\theta |X) =argmax \frac{p(X|\theta )p(\theta )}{p(X)} =argmax p(X|\theta )p(\theta ) =argmax (\prod_{x1}^{xn}p(xi|\theta ))p(\theta )$

之所以可以省略分母p(X)，是因为p(X)和 $\theta$ 没有关系。注意当前验 p 是 uniform（也就是常函数）时最大后验估计与最大似然估计重和。

加上对数处理后，上面公式可以表达为：

最低0.47元/天解锁文章

qulay

关注

37
点赞
踩
117

收藏

觉得还不错? 一键收藏
1
评论
菜鸟学概率统计——最大后验概率（MAP)

最大似然估计：把待估计的参数看作是确定性的量（只是其取值未知），其最佳估计就是使得产生已观察到的样本（即训练样本）的概率为最大的那个值。（即求条件概率密度p(D|＄)为最大时的＄，其中D为样本集，＄为条件概率密度分布的参数）。特点：简单适用；在训练样本增多时通常收敛得很好。只考虑某个模型能产生某个给定观察序列的概率，而未考虑该模型本身的概率，这点与贝叶斯估计区别。目标是寻求能最大化likehood
复制链接

扫一扫