MLE、MAP、Bayies估计

reference:

http://blog.sina.com.cn/s/blog_620b4cae0102vu02.html

http://www.cnblogs.com/sylvanas2012/p/5058065.html

最大似然估计MLE：给定一堆数据，假如我们知道它是从某一种分布中随机取出来的，可是我们并不知道这个分布具体的参数，即“模型已定，参数未知”。但把待估计参数θ看成确定性的量（只是值未知），通过使观测样本概率P(X|θ)最大的参数θ作为最佳估计参数。用数学公式表示即为使P(X|θ)最大的θ，其中X为观测样本，θ为参数。特点是简单实用，尤其是当样本多时能很好地逼近最佳近似。MLE的目标是找出一组参数，使得模型产生出观测数据的概率最大. 频率学派. pLSA EM Kmeans

贝叶斯估计：贝叶斯学派. 认为待估参数θ也是随机的变量，因为参数不能确定，所以输入X，并不能得到一个确定的θ。必须用概率的方式表达出来，所以贝叶斯估计是预测值的期望值。对样本观测的过程就是将先验概率密度转化为后验概率密度，这样就利用了样本的信息对参数的初始估计值。典型的效果就是没得到新的样本，都使得后验概率密度函数更加尖锐。使其在最佳估计参数附近形成一个峰值，这个现象称为贝叶斯学习过程。

P(θ|X)=P(X|θ)*P(θ)/P(X)    但通常P(X)需要对所有的参数进行积分，不能找到典型的闭合解。在这种情况下，我们采用了一种近似的方法求后验概率，这就是最大后验概率MAP。θ_MAP=argmaxθ(P(X|θ)*P(θ)). LDA

最大后验概率和极大似然估计很像，只是多了一项先验分布P(θ)，它体现了贝叶斯认为参数θ也是随机变量的观点，在实际运算中通常通过超参数给出先验分布。从以上可以看出，一方面，极大似然估计和最大后验概率都是参数θ的点估计。在频率学派中，参数θ固定了，预测值也就固定了。最大后验概率是贝叶斯学派的一种近似手段，因为完全贝叶斯估计不一定可行。另一方面，最大后验概率可以看作是对先验和MLE的一种折衷，如果数据量足够大，最大后验概率和最大似然估计趋向于一致，如果数据为0,最大后验仅由先验决定。