【转载】参数估计(Parameter Estimation)：频率学派（最大似然估计MLE、最大后验估计MAP）与贝叶斯学派（贝叶斯估计BPE）

基础

频率学派与贝叶斯学派

http://www.douban.com/group/topic/16719644/

http://www.zhihu.com/question/20587681

最大似然估计（Maximum likelihood estimation，MLE）

http://baike.baidu.com/view/1918804.htm

http://baike.baidu.com/view/185250.htm

最大后验估计（maximum a posteriori estimation，MAP）

http://www.cnblogs.com/liliu/archive/2010/11/24/1886110.html

贝叶斯估计（Bayesian parameter estimation，BPE）

http://baike.baidu.com/view/6960491.htm

 

经典参数估计方法：普通最小二乘（OLS）、最大似然（ML）和矩估计（MM）

http://lijiwei19850620.blog.163.com/blog/static/97841538201211282591699/

贝叶斯定理与贝叶斯估计

http://lijiwei19850620.blog.163.com/blog/static/978415382013655540438/

 

参数估计

从二项式分布到多项式分布-从Beta分布到Dirichlet分布

http://hi.baidu.com/leifenglian/item/636198016851cee7f55ba652

参数估计是一个重要的话题。对于典型的离散型随机变量分布：二项式分布，多项式分布；典型的连续型随机变量分布：正态分布。他们都可以看着是参数分布，因为他们的函数形式都被一小部分的参数控制，比如正态分布的均值和方差，二项式分布事件发生的概率等。因此，给定一堆观测数据集（假定数据满足独立同分布），我们需要有一个解决方案来确定这些参数值的大小，以便能够利用分布模型来做密度估计。这就是参数估计！

对于参数估计，一直存在两个学派的不同解决方案。一是频率学派解决方案：通过某些优化准则（比如似然函数）来选择特定参数值；二是贝叶斯学派解决方案：假定参数服从一个先验分布，通过观测到的数据，使用贝叶斯理论计算对应的后验分布。先验和后验的选择满足共轭，这些分布都是指数簇分布的例子。

参数估计方法的一个限制：是我们人为的假定了参数分布服从了某种指定形式的分布函数，这可能在某些特定情况下是不合适的。有一种可选的解决方案是：非参数密度估计，他只依赖于观测数据量的大小，这种方法其实也需要参数，但是这些参数只是控制了模型的复杂性而不是分布的函数形式。有三种无参密度估计方法：直方图，最近邻，核函数。

 

经典估计与贝叶斯估计

文本语言模型的参数估计-最大似然估计、MAP及贝叶斯估计

http://blog.csdn.net/yangliuy/article/details/8296481

语言模型的参数估计-最大似然估计、MAP及贝叶斯估计

http://hi.baidu.com/leifenglian/item/cdfdeaea9c3279088c3ea86c

参数估计：最大似然、贝叶斯与最大后验