计量经济学学习与Stata应用笔记(二)小样本最小二乘法

最小二乘法(OLS)是最基本的线性回归模型估计方法。

小样本OLS

古典线性回归模型假定

古典线性回归模型有以下几个假定。
线性假定：
总体模型为
$$y_i={\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_K{x}_{iK}+{ϵ}_i(i=1,\cdots ,n)$$
解释变量的第一个下标表示第$i$个观测值，第二个下标表示第$k$个观测变量，共有$K$个解释变量。${\beta }_k$为待估参数（回归系数）。
线性假设指的是没个解释变量对于被解释变量的边际效应均为常数，即$\frac{\partial E(y_i)}{\partial x_{ik}}={\beta }_k$为常数。线性假设不考虑解释变量的次数，可以引入高次项如$x_{ik}^3$或交互项如$x_{i1}{x}_{i2}$，此时只要把这些项当做解释变量看待即可。总体模型用矩阵形式表达为$$y\text{y}y=X\text{X}X\beta \text{β}\beta +ϵ\text{ϵ}ϵ$$
严格外生性假定：
$$E({ϵ}_i|X\text{X}X)=0$$
在给定矩阵$X\text{X}X$的情况下，扰动项${ϵ}_i$的条件期望为0。${ϵ}_i$均值独立于所有解释变量的观测数据。事实上，当$E({ϵ}_i|X\text{X}X)=c$时均值独立也成立，此时可以将$c$归入常数项中。
定义如果随机变量$X,Y$满足$E(XY)=0$，则称$X,Y$正交(orthogonal)。则解释变量与扰动项正交。
不存在严格多重共线性假定
即数据矩阵$X\text{X}X$满列秩，$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X\text{X}X)=K$。
如果不满足此条件，则$X\text{X}X$中存在多余的变量。
球型扰动项假定
扰动项满足同方差和无自相关。
$$Var(ϵ\text{ϵ}ϵ|X\text{X}X)=E(ϵ\text{ϵ}ϵ{ϵ\text{ϵ}ϵ}^T|X\text{X}X)={\sigma }^2{I\text{I}I}_n=\left[\begin{array}{ccc}{\sigma }^2& & 0\\ & \ddots & \\ 0& & {\sigma }^2\end{array}\right]$$
一方面，协方差矩阵主对角线元素均为${\sigma }^2$。另一方面，非主对角线元素均为0。

OLS的推导

被解释变量与解释变量在抽样之前可以看作随机变量，在抽样之后可以看做随机变量的实现值。
记未知参数向量$\beta \text{β}\beta$的假想值为$\tilde{\beta }\text{β~}\tilde{\beta }$，记第$i$个残差(residual)为$e_i=y_i-{x\text{x}x}_i^T\tilde{\beta }\text{β~}\tilde{\beta }$，因此残差向量可以表示为$e\text{e}e=y\text{y}y-{X\text{X}X}^T\tilde{\beta }\text{β~}\tilde{\beta }$。最小二乘法的思想在于寻找使残差平方和(Sum of Squared Residuals, SSR)${\sum }_{i=1}^n{e}_i^2$最小的$\tilde{\beta }\text{β~}\tilde{\beta }$。此问题为
$$\underset{\tilde{\beta }\text{β~}\tilde{\beta }}{\min }SSR(\tilde{\beta }\text{β~}\tilde{\beta })=\sum _{i=1}^n{e}_i^2=(y\text{y}y-{X\text{X}X}^T\tilde{\beta }$$