先验概率和后验概率_极大似然估计(MLE)和最大后验概率估计(MAP)

MLE与MAP分别对应两种学派的参数估计方法,频率派和贝叶斯派。

频率派认为参数是未知的常量,而样本是随机变量,可以通过样本的概率分布估计参数的值。

贝叶斯派认为参数是随机变量,其符合某种潜在先验概率分布prior。根据获取的信息(likelihood/evidence)去不断调整先验分布,从而得到后验概率分布.

posterior=(likelihood×prior)/evidence
likelihood/evidence在一起可称为标准相似度,因此也可写为
posterior=standardised likilihood×prior

极大似然估计MLE

MLE认为每个事件的发生都不是偶然的,存在即合理,为了解释这些事件的出现,决定系统的参数必须使得这些事件的出现更加合理才更好。因此MLE是求使得事件发生的概率最大化的情况下的参数。

似然函数:

75a6452c5add23d6fefb35b36c1a10ac.png

MLE:

c1af1ba865f3d2b3756a95b1d79fbbf8.png

可以看出,MLE的参数估计值仅取决于样本,在数据量大的情况下还算靠谱,但是数据量小或者数据不靠谱的时候,结果也不靠谱。

最大后验概率估计MAP

MAP的思想类似,但是加入了参数的先验分布的假设。估计的过程就是根据样本的信息对参数的先验概率分布进行调整的过程,进而得到参数相对于样本的后验概率分布。为了满足事件发生即合理,即参数的后验概率应尽可能大,从而保证这些事件出现的情况更加合理,因此通过最大化后验概率来确定最终的参数的概率分布。

要明确两种学派中变量是谁,前者是样本,后者是参数。因此MAP中相当于求后验分布关于参数的极大值点(x轴为参数θ,y轴为后验概率)

相同点:MLE和MAP均是通过直接求数值解的方式估计参数。

不同点:MAP加入先验假设P(θ),相当于在MLE的基础上增加一个先验项,即-logP(θ)。

一个例子 参考https://blog.csdn.net/qq_39355550/article/details/81809467

6fe7bc665789f0b92f004843c92fd56f.png
参与评论 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值