最小二乘原理

引言

以双变量总体回归函数为例：

受物力财力等因素限制，很多时候我们难以搜集总体信息，故常使用样本来近似估计总体。

因此，我们用下面的样本回归函数（SRF）来近似估计总体回归函数（PRF）。

因而，

不难理解，估计总体回归函数最好的方法就是选择B1、B2的估计量b1、b2，使残差尽可能小。

而普通最小二乘就是要选择参数b1、b2，使得残差平方和最小。

这里用平方和是因为相比于绝对值，目标函数（残差平方和最小）是连续可求导的。

OLS估计量的推导

R代码（lm）生成的回归模型中，对参数的估计默认就是使用该方法，具体的实例将在【R与统计】专栏的回归一章中细讲。

高斯-马尔科夫假定

只有当Gauss-Markov假设条件成立时，使用最小二乘法估计的参数才具有优良的性质。

• 假定1. 线性于参数
• 假定2. 随机抽样
• 假定3. 不存在完全共线性
• 假定4.零条件均值
• 假定5. 同方差

参数估计量的性质

线性型

无偏性（假定1-4）

最优性（+ 假定5）
在所有关于模型参数真值的无偏估计量中，若某个估计量具有最小方差，则称该估计量为该模型参数真值的最优线性无偏估计量。

参考书目

《经济计量学精要.第4版》
《应用回归分析》