基础
频率学派与贝叶斯学派
http://www.douban.com/group/topic/16719644/
http://www.zhihu.com/question/20587681
最大似然估计(Maximum likelihood estimation,MLE)
http://baike.baidu.com/view/1918804.htm
http://baike.baidu.com/view/185250.htm
最大后验估计(maximum a posteriori estimation,MAP)
http://www.cnblogs.com/liliu/archive/2010/11/24/1886110.html
贝叶斯估计(Bayesian parameter estimation,BPE)
http://baike.baidu.com/view/6960491.htm
经典参数估计方法:普通最小二乘(OLS)、最大似然(ML)和矩估计(MM)
http://lijiwei19850620.blog.163.com/blog/static/97841538201211282591699/
贝叶斯定理与贝叶斯估计
http://lijiwei19850620.blog.163.com/blog/static/978415382013655540438/
参数估计
从二项式分布到多项式分布-从Beta分布到Dirichlet分布
http://hi.baidu.com/leifenglian/item/636198016851cee7f55ba652
参数估计是一个重要的话题。对于典型的离散型随机变量分布:二项式分布,多项式分布;典型的连续型随机变量分布:正态分布。他们都可以看着是参数分布,因为他们的函数形式都被一小部分的参数控制,比如正态分布的均值和方差,二项式分布事件发生的概率等。因此,给定一堆观测数据集(假定数据满足独立同分布),我们需要有一个解决方案来确定这些参数值的大小,以便能够利用分布模型来做密度估计。这就是参数估计!
对于参数估计,一直存在两个学派的不同解决方案。一是频率学派解决方案:通过某些优化准则(比如似然函数)来选择特定参数值;二是贝叶斯学派解决方案:假定参数服从一个先验分布,通过观测到的数据,使用贝叶斯理论计算对应的后验分布。先验和后验的选择满足共轭,这些分布都是指数簇分布的例子。
参数估计方法的一个限制:是我们人为的假定了参数分布服从了某种指定形式的分布函数,这可能在某些特定情况下是不合适的。有一种可选的解决方案是:非参数密度估计,他只依赖于观测数据量的大小,这种方法其实也需要参数,但是这些参数只是控制了模型的复杂性而不是分布的函数形式。有三种无参密度估计方法:直方图,最近邻,核函数。
经典估计与贝叶斯估计
文本语言模型的参数估计-最大似然估计、MAP及贝叶斯估计
http://blog.csdn.net/yangliuy/article/details/8296481
语言模型的参数估计-最大似然估计、MAP及贝叶斯估计
http://hi.baidu.com/leifenglian/item/cdfdeaea9c3279088c3ea86c
参数估计:最大似然、贝叶斯与最大后验