三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。

1\本文主要介绍三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。

 个人认为：三个参数估计的方法可以总结为如下：

 

我们知道贝叶斯公式是这样写的：

然后就可以通过这个公式来求解最大似然估计MLE、最大后验估计MAP和贝叶斯估计了。

最大似然估计：实际上是求了红线框起来的部分。认为参数是固定的

 

最大后验估计：，实际上是去求了红线框起来的部分。比最大似然估计多了一个参数的概率，即我们认为参数也是有概率的。

 

贝叶斯估计：，求全部，此时不直接估计参数的值，而是允许参数服从一定概率分布。即也要求出p(x)来。

 

贝叶斯及贝叶斯派思考问题的固定模式

先验分布 + 样本信息  后验分布

上述思考模式意味着，新观察到的样本信息将修正人们以前对事物的认知。换言之，在得到新的样本信息之前，人们对的认知是先验分布，在得到新的样本信息后，人们对的认知为。

其中，先验信息一般来源于经验跟历史资料。比如林丹跟某选手对决，解说一般会根据林丹历次比赛的成绩对此次比赛的胜负做个大致的判断。再比如，某工厂每天都要对产品进行质检，以评估产品的不合格率θ，经过一段时间后便会积累大量的历史资料，这些历史资料便是先验知识，有了这些先验知识，便在决定对一个产品是否需要每天质检时便有了依据，如果以往的历史资料显示，某产品的不合格率只有0.01%，便可视为信得过产品或免检产品，只每月抽检一两次，从而省去大量的人力物力。

而后验分布一般也认为是在给定样本的情况下的条件分布，而使达到最大的值称为最大后验估计。