最大似然估计和最大后验估计（转）

本文主要介绍三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。

 个人认为：三个参数估计的方法可以总结为如下：

 

我们知道贝叶斯公式是这样写的：

然后就可以通过这个公式来求解最大似然估计MLE、最大后验估计MAP和贝叶斯估计了。

最大似然估计：实际上是求了红线框起来的部分。认为参数是固定的

 

最大后验估计：，实际上是去求了红线框起来的部分。比最大似然估计多了一个参数的概率，即我们认为参数也是有概率的。

 

 

 

 

 

贝叶斯估计：，求全部，此时不直接估计参数的值，而是允许参数服从一定概率分布。即也要求出p(x)来。

 

 

贝叶斯及贝叶斯派思考问题的固定模式

先验分布 + 样本信息  后验分布

上述思考模式意味着，新观察到的样本信息将修正人们以前对事物的认知。换言之，在得到新的样本信息之前，人们对的认知是先验分布，在得到新的样本信息后，人们对的认知为。

 

 

一. 频率学派与贝叶斯学派的区别

　　在查找“极大似然估计”有关知识点的时候，经常会碰到“频率学派”和“贝叶斯学派”这两个虽故事深厚，但是对于我们实际使用参数估计法并没有什么暖用的词，然而随着这两个词的曝光增多，它犹如一个没有解决的问题一样，潜伏在脑海深处，于是就在网上搜了一些结果，加工处理总结于此处。 
　　知乎上的回答[1]：

　　简单地说，频率学派与贝叶斯学派探讨「不确定性」这件事时的出发点与立足点不同。频率学派从「自然」角度出发，试图直接为「事件」本身建模，即事件A在独立重复试验中发生的频率趋于极限p，那么这个极限就是该事件的概率。举例而言，想要计算抛掷一枚硬币时正面朝上的概率，我们需要不断地抛掷硬币，当抛掷次数趋向无穷时正面朝上的频率即为正面朝上的概率。 
　　贝叶斯学派并不从试图刻画「事件」本身，而从「观察者」角度出发。贝叶斯学派并不试图说「事件本身是随机的」，或者「世界的本体带有某种随机性」，而只是从「观察者知识不完备」这一出发点开始，构造一套在贝叶斯概率论的框架下可以对不确定知识做出推断的方法。

　　豆瓣上的回答[２]：

　　这个区别说大也大，说小也小。往大里说，世界观就不同，频率派认为参数是客观存在，不会改变，虽然未知，但却是固定值；贝叶斯派则认为参数是随机值，因为没有观察到，那么和是一个随机数也没有什么区别，因此参数也可以有分布，个人认为这个和量子力学某些观点不谋而合。 
　　往小处说，频率派最常关心的是似然函数，而贝叶斯派最常关心的是后验分布。我们会发现，后验分布其实就是似然函数乘以先验分布再normalize一下使其积分到1。因此两者的很多方法都是相通的。贝叶斯派因为所有的参数都是随机变量，都有分布，因此可以使用一些基于采样的方法（如MCMC）使得我们更容易构建复杂模型。频率派的优点则是没有假设一个先验分布，因此更加客观，也更加无偏，在一些保守的领域（比如制药业、法律）比贝叶斯方法更受到信任。　

　　结合以上以及其他知乎上的回答，做一个总结，频率学派认为事物本身冥冥之中是服从一个分布的（至于是什么，只有上帝知道），这个分布的参数是固定的，因此，反过来想，上帝用这个分布制造了一些数据给了频率学派，频率学派的出发点是上帝在制造这些数据的时候那个参数是唯一固定的，我们要做的就是考虑哪个值最有可能是那个参数值呢，于是就有了“最大似然”和“置信区间”这样的概念，从名字就可以看出来他们关心的就是我有多大把握去圈出那个唯一的真实参数。然而贝叶斯学派认为，我们并没有上帝视角，怎么能够确定这些数据是用哪个固定参数值造出来的，因此他们关心的是参数空间的每一个值，给这些值一些他们自己认为合理的假设值（先验分布），然后在去做实验（证据），不断地调整自己的假设，从而得到最后结果（后验分布），但是又反过来想，既然我们不是上帝，那么这个先验假设又怎么能做出来了呢。 
　　频率学派太过于看中事实（太现实了），以至于容易被现实欺骗，比如掷硬币，掷了无数次都是正面，从频率学派的角度就会认为正面出现的概率为1；贝叶斯学派太过于幻想，以至于想象中的很多东西很难实现，例如很难准确判断参数的先验分布。总之，你我都不是上帝，所以也就没有绝对的孰对孰错。

有一点需要说明的，条件概率并不能说成是贝叶斯学派的，它只有结合先验概率并以求后验概率为目的的时候才能说成是贝叶斯的观点。

二. 频率学派的参数估计

1.极大似然估计

　　极大似然估计（Maximum Likelihood Estimate，MLE），也叫最 大似然估计，经过上述分析我们知道它是频率学派的思想，也就是为了求自认为的上帝的固定参数的，而尽量使这个参数接近真实。 
　　这里直接贴出[3]中的内容：

1) 离散随机变量的似然函数：

　　若总体X属离散型,其分布律P{ X=x}=p(x;θ),θ∈Θ的形式为已知,θ为待估参数,Θ是θ可能的取值范围,设X1,X2,⋯,Xn是来自X的样本，则X1,X2,⋯,Xn的联合概率分布为

∏i=1np(x;θ)

　　设x1,x2,⋯,xn相应的样本值,易知样本X1,X2,⋯,Xn取到观察值x1,x2,⋯,xn的概率,亦即事件{ X1=x1,X2=x2,⋯,Xn=xn}