MLE、MAP、Bayies估计

reference:

http://blog.sina.com.cn/s/blog_620b4cae0102vu02.html

http://www.cnblogs.com/sylvanas2012/p/5058065.html

最大似然估计MLE:给定一堆数据,假如我们知道它是从某一种分布中随机取出来的,可是我们并不知道这个分布具体的参即“模型已定,参数未知”把待估计参数θ看成确定性的量(只是值未知)通过使观测样本概率P(X|θ)最大的参数θ作为最佳估计参数。用数学公式表示即为使P(X|θ)最大的θ,其中X为观测样本,θ为参数。特点是简单实用,尤其是当样本多时能很好地逼近最佳近似。MLE的目标是找出一组参数,使得模型产生出观测数据的概率最大. 频率学派. pLSA EM Kmeans


贝叶斯估计:贝叶斯学派. 认为待估参数θ也是随机的变量,因为参数不能确定,所以输入X,并不能得到一个确定的θ。必须用概率的方式表达出来,所以贝叶斯估计是预测值的期望值。对样本观测的过程就是将先验概率密度转化为后验概率密度,这样就利用了样本的信息对参数的初始估计值。典型的效果就是没得到新的样本,都使得后验概率密度函数更加尖锐。使其在最佳估计参数附近形成一个峰值,这个现象称为贝叶斯学习过程。

P(θ|X)=P(X|θ)*P(θ)/P(X)    但通常P(X)需要对所有的参数进行积分,不能找到典型的闭合解。在这种情况下,我们采用了一种近似的方法求后验概率,这就是最大后验概率MAP。θ_MAP=argmaxθ(P(X|θ)*P(θ)). LDA

最大后验概率和极大似然估计很像,只是多了一项先验分布P(θ),它体现了贝叶斯认为参数θ也是随机变量的观点,在实际运算中通常通过超参数给出先验分布。从以上可以看出,一方面,极大似然估计和最大后验概率都是参数θ的点估计。在频率学派中,参数θ固定了,预测值也就固定了。最大后验概率是贝叶斯学派的一种近似手段,因为完全贝叶斯估计不一定可行。另一方面,最大后验概率可以看作是对先验和MLE的一种折衷,如果数据量足够大,最大后验概率和最大似然估计趋向于一致,如果数据为0,最大后验仅由先验决定。



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值