最小二乘估计_计量经济学：多元线性回归的最小二乘估计

图片来自网络，侵删

回顾上一篇文章：多元线性回归的基本假设

夔小攀：计量经济学：多元线性回归的总体与样本以及基本假设​zhuanlan.zhihu.com

假设一：回归模型设定是正确的

假设二：矩阵

是满秩的

假设三：随机干扰项条件零均值

假设四：随机干扰项同方差且序列不相关

假设五：随机干扰项具有正态分布

再看看我们在一元线性回归时，估计模型中的参数的套路：

夔小攀：计量经济学：一元线性回归最小二乘估计（OLS）及其检验​zhuanlan.zhihu.com

开始这一篇文章：待估参数推导过程

之前我们谈到，多元线性回归是可以用矩阵形式表示的，所以我们在这里也会尝试使用矩阵的形式去进行OLS估计。

正规方程组的推导

普通最小二乘的原理，就是让实际值

与估计值

之间差的平方和最小。在多元线性回归中，样本回归函数为：

那么对于

这个样本，其实际值与估计值的差：

对于所有的

（样本量为

，解释变量个数为

），

的平方和为：

如何求得

的最小值呢？对未知量

求偏导，并令其等于零可能是一个合理的思路（到后面，我们可以尝试证明，求得的极值就是最值）。

这对于手工计算可不容易，最后的结果我们可以用一个技巧来代替：

令

表示第

个解释变量

对其他解释变量进行OLS回归后的残差，那么

就可以表示为：

矩阵形式下的正规方程组

正规方程组可以变换为：

只看第一行：

可以表示为：

那么，对于所有行，也就相当于：

而最左边的矩阵，其实相当于

那么整个正规方程组，我们用矩阵表示为

，由此可得：

矩阵推导全程

对于

，运用矩阵的乘法性质（注意：

），可以推出：

再对

求偏导：

矩阵求导的性质

注意：

是一个列向量，对于列向量

求导，有以下性质

那么，

;

;

;

则有：

化简得：

，由此可得：

统计量的性质

与一元线性回归相同的，对于满足基本假设的OLS估计统计量，具有线性性、无偏性、有效性、一致性、渐进无偏性、渐进有效性。我们可以尝试证明前三个性质

线性性

线性性极为明显：

，其中

只与固定的

有关

无偏性

将

代入其中，可以得到：

利用零均值假设，

，无偏性也得到了证明。同时

，这个公式将在有效性的证明中发挥作用。

有效性

需要先求出估计量的方差：

这里运用了同方差与序列不相关的假设，即

随后证明这个方差是所有线性无偏估计量中最小的

不妨假设这个世界上的其他「线性无偏」估计量为

，当然对于

可以将其表示为

，

是一个固定矩阵，

就是最小二乘估计中的线性系数

。根据无偏性的条件：

那么，当且仅当

时，才能使得

；那么

；而

，那么

再考察

的方差-协方差矩阵：

其中，我们通过之前的论证

，可以发现：

那么，移项便知：

继续观察协方差矩阵：

虽然看上去很复杂，但是结果却很简单。根据我们的假设，

是一个主对角线元素非负的对称矩阵，可以得知最终的结果：

所以最小二乘估计量具有有效性。一元线性回归中的证明也是如此。