上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架,本文沿着该框架,对小样本OLS回归做一个全面的梳理。
1 假设
这里先将所有的小样本OLS回归中可能用到的假设放到一起,方便浏览。当然,后面的每一个结论并不是要用到所有的假设,而是只用到某几个假设,这在后面讲每个结论时会具体说明。
- 假设1 线性性: y i = x i ′ β + ε i y_i=x_i'\beta+\varepsilon_i yi=xi′β+εi,其中 β \beta β是未知参数向量,将所有 N N N个样本放到一起,可以写成 y = X β + ε y=X\beta+\varepsilon y=Xβ+ε,其中 X X X是 N × K N\times K N×K矩阵;
- 假设2 严格外生性: E ( ε ∣ X ) = 0 \mathbb{E}(\varepsilon|X)=0 E(ε∣X)=0;
- 假设3 非奇异性: X ′ X X'X X′X是非奇异的;
- 假设4 球形扰动项: E ( ε ∣ X ) = σ 2 I n \mathbb{E}(\varepsilon|X)=\sigma^2I_n E(ε∣X)=σ2In;
- 假设5 条件正态扰动项: ε ∣ X ∼ N ( 0 , σ 2 I n ) \varepsilon|X\sim \mathcal{N}(0,\sigma^2I_n) ε∣X∼N(0,σ2In);
- 假设6 无近似多重共线性:当 n → ∞ n\to \infty n→∞时, X ′ X X'X X′X的最小特征值 λ min ( X ′ X ) → ∞ \lambda_\text{min}(X'X)\to\infty λmin(X′X)→∞的概率为1。
其中,假设3等价于 rank ( X ) = K \text{rank}(X)=K rank(X)=K。假设6只在个别资料中会出现,它排除了近似多重共线性的可能。另外,假设4说明了扰动项没有自相关性并且是同方差的,假设5包含了假设4,假设5只在需要推导 β ^ \hat\beta β^的抽样分布及其相关问题时需要用到。
2 β \beta β的点估计及其性质
2.1 β \beta β的点估计
通过求解 β ^ = arg min SSR ( β ) \hat{\beta}=\arg\min \text{SSR}(\beta) β^=argminSSR(β),在假设3成立时很容易得到 β ^ = ( X ′ X ) − 1 X y \hat\beta=(X'X)^{-1}Xy β^=(X′X)−1Xy,这就是点估计。
我们将线性回归的残差记为 e = y − X β ^ e=y-X\hat\beta e=y−Xβ^。
在后续的推导中,主要用到的是点估计 β ^ \hat\beta β^与真实 β \beta β的差,利用假设1,有 β ^ − β = ( X ′ X ) − 1 X ′ ε \hat\beta-\beta=(X'X)^{-1}X'\varepsilon β^−β=(X′X)−1X′ε。
2.2 β ^ \hat\beta β^的性质
首先, β ^ \hat\beta β^的条件期望就等于 β \beta β,即它是条件无偏的,利用假设4,可以得到 E ( β ^ − β ∣ X ) = 0 \mathbb{E}(\hat\beta-\beta|X)=0 E(β^−β∣X)=0。当然,在无条件下它也是无偏的。
它的条件方差很好计算,由定义和假设4, Var ( β ^ ∣ X ) = σ 2 ( X ′ X ) − 1 \text{Var}(\hat\beta|X)=\sigma^2(X'X)^{-1} Var(β^∣X)=σ2(X′X)−1。若假设6也成立,则对于任何 K × 1 K\times 1 K×1且满足 τ ′ τ = 1 \tau'\tau=1 τ′τ=1的向量 τ \tau τ,有当 n → ∞ n\to \infty n