关于极大似然估计 贝叶斯估计 和 最大后验概率(MAP)估计

2019独角兽企业重金招聘Python工程师标准>>>

首先，上述三种方法都是参数估计的方法，也就是需要预先知道/假设样本的分布形式，只是一些参数未知。而最大似然是最简单的形式，其假定参数虽然未 知，但是是确定值，就是找到使得样本对数似然分布最大的参数。而最大后验，和最大似然很相似，也是假定参数未知，但是为确定数值。只是优化函数为后验概率 形式，多了一个先验概率项。

而贝叶斯和二者最大的不同在于，假定参数也是随机变量，不是确定值。在样本分布D上，计算参数所有可能的情况，并通过基于参数期望，计算类条件概率 密度。

但是，当参数分布为尖峰，且该参数对应样本分布比较平坦时，极大似然近似于贝叶斯。

总体上，极大似然计算简单，而贝叶斯在某些特殊情况下，效果好于极大似然。

在网上搜索得到的自认为最确切的解释：

http://hi.baidu.com/nlp%BC%EC%CB%F7/blog/item/828efd0e2a0991e4aa64577a.html

粘贴于此：

最大似然估计和贝叶斯参数估计的区别

   参数估计问题是统计学中的经典问题。最常用的和有效的方法就是：最大似然和贝叶斯估计。

   最大似然把待估的参数看做是确定性的量，只是其取值未知。最佳估计就是使得产生以观测到的样本的概率最大的那个值。

   贝叶斯估计则把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，就是把先验概率密度转化为后验概率密 度，这样就利用样本的信息修正了对参数的初始估计值。在贝叶斯估计中，一个典型的效果就是，每得到新的观测样本，都使得后验概率密度函数变得更加尖锐，使 其在待估参数的真实值附近形成最大的尖峰。

转载于:https://my.oschina.net/duluo180/blog/11456