sql server 一元线性回归_计量经济学：一元线性回归 最大似然估计（MLE）与矩估计（MM）...

之前，我们介绍了最小二乘估计（OLS）来估计模型的参数，其间的数理运算已经很厉害了，所以这一篇文章，我准备水水过。

一、最大似然估计

1. 最大似然估计的基本原理：当从模型总体随机抽取n组样本观测值之后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大
2. 最大似然估计的前提条件：必须已知
   的分布
3. 估计步骤，对于一元线性回归样本模型：

分布已知（第二篇文章中有证明）：

那么，对于随机事件

被抽取到的概率函数为：

我们现在要抽取n个

，使得总概率最大，当然，

之间是相互独立的，那么

，建立一个函数

来表示这个“总概率”

对这个L函数进行求导似乎不那么容易，不妨取对数，令，

对

求偏导

求解：

也许你已经发现了，这个最小二乘估计的出来的结果是一毛一样的。但是实际上这是两种不同的估计方法，这在之后的文章中，会有所阐述。

二、矩估计法

矩估计法的基本原理：用样本的原点矩估计总体的原点矩，用样本的中心矩去估计总体的中心矩

矩估计的前提条件：估计量的1~k阶（k大于待估参数个数m）原点矩与中心矩存在

估计步骤：

样本取自于总体，那么样本矩

在一定程度上可以逼近于总体矩

把这个依概率收敛→，变成“=”，那么对于m个待估参数，我们至少有m个方程，可以求解出待估参数

对于一元线性回归样本模型：

一元线性回归总体模型：

在样本中，e一阶原点矩与eX的一阶原点矩：

在总体中，

的一阶原点矩和

的一阶原点矩 （假设条件中有过证明）

那么

这其实就和OLS中的正规方程组一模一样了。

对于这两种方法的线性性、无偏性、有效性、渐近无偏性、一致性、渐进有效性就不予过多说明