本文详细梳理了小样本OLS回归，包括线性性、严格外生性等假设，β的点估计及其性质，以及β^的抽样分布和假设检验。重点介绍了F检验和t检验的原理和应用。
上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。
1 假设
这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具体说明。
- 假设1 线性性： y i = x i ′ β + ε i y_i=x_i'\beta+\varepsilon_i yi=xi′β+εi，其中 β \beta β是未知参数向量，将所有 N N N个样本放到一起，可以写成 y = X β + ε y=X\beta+\varepsilon y=Xβ+ε，其中 X X X是 N × K N\times K N×K矩阵；
- 假设2 严格外生性： E ( ε ∣ X ) = 0 \mathbb{E}(\varepsilon|X)=0 E(ε∣X)=0；
- 假设3 非奇异性： X ′ X X'X X′X是非奇异的；
- 假设4 球形扰动项： E ( ε ∣ X ) = σ 2 I n \mathbb{E}(\varepsilon|X)=\sigma^2I_n E(ε∣X)=σ2In；
- 假设5 条件正态扰动项： ε ∣ X ∼ N ( 0 , σ 2 I n ) \varepsilon|X\sim \mathcal{N}(0,\sigma^2I_n) ε∣X∼N(0,σ2In)；
- 假设6 无近似多重共线性：当 n → ∞ n\to \infty n→∞时， X ′ X X'X X′X的最小特征值 λ min ( X ′ X ) → ∞ \lambda_\text{min}(X'X)\to\infty λmin(X′X)→∞的概率为1。
其中，假设3等价于 rank ( X ) = K \text{rank}(X)=K rank(X)=K。假设6只在个别资料中会出现，它排除了近似多重共线性的可能。另外，假设4说明了扰动项没有自相关性并且是同方差的，假设5包含了假设4，假设5只在需要推导 β ^ \hat\beta β^的抽样分布及其相关问题时需要用到。
2 β \beta β的点估计及其性质
2.1 β \beta β的点估计
通过求解 β ^ = arg min SSR ( β ) \hat{\beta}=\arg\min \text{SSR}(\beta) β^=argminSSR(β)，在假设3成立时很容易得到 β ^ = ( X ′ X ) − 1 X y \hat\beta=(X'X)^{-1}Xy β^=(X′X)−1Xy，这就是点估计。
我们将线性回归的残差记为 e = y − X β ^ e=y-X\hat\beta e=y−Xβ^。
在后续的推导中，主要用到的是点估计 β ^ \hat\beta β^与真实 β \beta β的差，利用假设1，有 β ^ − β = ( X ′ X ) − 1 X ′ ε \hat\beta-\beta=(X'X)^{-1}X'\varepsilon β^−β=(X′X)−1X′ε。
2.2 β ^ \hat\beta β^的性质
首先， β ^ \hat\beta β^的条件期望就等于 β \beta β，即它是条件无偏的，利用假设4，可以得到 E ( β ^ − β ∣ X ) = 0 \mathbb{E}(\hat\beta-\beta|X)=0 E(β^−β∣X)=0。当然，在无条件下它也是无偏的。
它的条件方差很好计算，由定义和假设4， Var ( β ^ ∣ X ) = σ 2 ( X ′ X ) − 1 \text{Var}(\hat\beta|X)=\sigma^2(X'X)^{-1} Var(β^∣X)=σ2(X′X)−1。若假设6也成立，则对于任何 K × 1 K\times 1 K×1且满足 τ ′ τ = 1 \tau'\tau=1 τ′τ=1的向量 τ \tau τ，有当 n → ∞ n\to \infty n
最低0.47元/天 解锁文章
2658
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
