数学理论-----参数估计方法：普通最小二乘（OLS）、最大似然（ML）和矩估计（MM）

普通最小二乘估计（Ordinary least squares，OLS）

最小二乘法http://baike.baidu.com/view/139822.htm

最小二乘估计法http://baike.baidu.com/view/2021020.htm

最小二乘拟合http://baike.baidu.com/view/3137894.htm

1801年，意大利天文学家朱赛普?皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希?奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。 

 

 

最大似然估计（Maximum likelihood，ML）

最大似然法http://baike.baidu.com/view/1918804.htm

极大似然法http://baike.baidu.com/view/1460040.htm

极大似然估计http://baike.baidu.com.cn/view/185250.htm

最大似然估计法http://bbs.sciencenet.cn/blog-491809-400893.html

最大似然估计http://www.cnblogs.com/liliu/archive/2010/11/22/1883702.html

最大似然法，也称最大或然法、极大似然法，最早由高斯提出，后由英国遗传及统计学家费歇于1912年重新提出，并证明了该方法的一些性质，名称“最大似然估计”也是费歇给出的。该方法是不同于最小二乘法的另一种参数估计方法，是从最大似然原理出发发展起来的其他估计方法的基础。虽然其应用没有最小二乘法普遍，但在计量经济学理论上占据很重要的地位，因为最大似然原理比最小二乘原理更本质地揭示了通过样本估计总体的内在机理。计量经济学的发，更多地是以最大似然原理为基础的，对于一些特殊的计量经济学模型，只有最大似然法才是成功的估计方法。

对于最小二乘法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据；而对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该是使得从模型中抽取该n组样本观测值的概率最大。

从总体中经过n次随机抽取得到的样本容量为n的样本观测值，在任一次随机抽取中，样本观测值都以一定的概率出现。如果已经知道总体的参数，当然由变量的频率函数可以计算其概率。如果只知道总体服从某种分布，但不知道其分布参数，通过随机样本可以求出总体的参数估计。

以正态分布的总体为例，每个总体都有自己的分布参数期望和方差，如果已经得到n组样本观测值，在可供选择的总体中，哪个总体最可能产生已经得到的n组样本观测值呢？显然，要对每个可能的正态总体估计取n组样本观测值的联合概率，然后选择其参数能使观测值的联合概率最大的那个总体。将样本观测值联合概率函数称为变量的似然函数。在已经取得样本观测值的情况下，使似然函数取极大值的总体分布参数所代表的总体具有最大的概率取得这些样本观测值，该总体参数即是所要求的参数。通过似然函数极大化以求得总体参数估计量的方法被称为极大似然法。 

 

 

 

 

矩估计（Moment method，MM）

矩估计http://baike.baidu.com/view/2019009.htm

矩估计http://wenku.baidu.com/view/37e371c7aa00b52acfc7ca28.html

广义矩估计http://baike.baidu.com/view/8471298.htm

工具变量法http://baike.baidu.com/view/2107261.htm

原点矩http://baike.baidu.com/view/7115935.htm

中心矩http://baike.baidu.com/view/7115935.htm

由英国统计学家皮尔逊于1894年提出的，是最古老的一种估计法之一。所谓矩估计法，就是利用样本矩来估计总体中相应的参数。最简单的矩估计法是用一阶样本原点矩估计总体期望，而用二阶样本中心矩估计总体方差。对于随机变量来说，矩是其最广泛、最常用的数字特征，主要有中心矩和原点矩。

由辛钦大数定律知，简单随机样本的原点矩依概率收敛到相应的总体原点矩，这就启发我们想到用样本矩替换总体矩，进而找出未知参数的估计，基于这种思想求估计量的方法称为矩法，用矩法求得的估计称为矩法估计，简称矩估计。 

 

传统的计量经济学估计方法，例如普通最小二乘法、工具变量法和最大似然法等都存在自身的局限性，即其参数估计量必须在满足某些假设时，比如模型的随机误差项服从正态分布或某一已知分布时，才是可靠的估计量。而矩估计原理简单、使用方便，使用时可以不知道总体分布，而且具有一定的优良性质（如矩估计为E(ξ)的一致最小方差无偏估计）。广义矩估计法除不需要知道随机误差项分布外，且允许随机误差项存在异方差和序列相关，因而所得到的估计量比其他方法更有效。

但在寻找参数的矩法估计量时，对总体原点矩不存在的分布如柯西分布等不能用，另一方面它只涉及总体的一些数字特征，并未用到总体的分布，因此矩法估计量实际上只集中了总体的部分信息，这样它在体现总体分布特征上往往性质较差，只有在样本容量n较大时，才能保障它的优良性，因而理论上讲，矩法估计是以大样本为应用对象的。

转自:http://blog.163.com/loongfee@126/blog/static/173697334201302211527594/