本文将把OLS回归,从小样本推广到大样本的情形。关于小样本OLS回归,可见《小样本OLS回归的框架》和《小样本OLS回归梳理》。
尽管在大样本下,假设、推导、结论都与在小样本情形下不同,但总体的思路还是一样的:
- 进行点估计,再研究估计量的性质;
- 构造统计量,在大样本下推导其渐近分布,并进行假设检验。
本文考虑大样本情形中最简单的情况:独立同分布的随机样本。
1 记号与假设
由于可能会考虑到时间序列的情形,因此这里对于单个样本的下标采用 t t t,不再用 i i i。记 Q = E ( x t x t ′ ) Q=\text{E}(x_t x_t') Q=E(xtxt′), V = Var ( x t ε t ) V=\text{Var}(x_t\varepsilon_t) V=Var(xtεt),其他记号与小样本情形下一样。
- 假设1 独立同分布: { x t ′ , y t } ′ \{x_t',y_t\}' { xt′,yt}′, t = 1 , … , N t=1,\ldots,N t=1,…,N是可观测的独立同分布的随机样本;
- 假设2 线性性: y t = x t ′ β + ε t y_t=x_t'\beta+\varepsilon_t yt=xt′β+εt,可写作矩阵形式 y = X β + ε y=X\beta+\varepsilon y=Xβ+ε;
- 假设3 模型正确设定: E ( ε t ∣ x t ) = 0 \text{E}(\varepsilon_t|x_t)=0 E(εt∣xt)=0且 E ( ε t 2 ) = σ 2 < ∞ \text{E}(\varepsilon_t^2)=\sigma^2<\infty E(εt2)=σ2<∞;
- 假设4 非奇异性: K × K K\times K K×K矩阵 Q Q Q是对称、有限、非奇异的;
- 假设5: K × K K\times K K×K矩阵 V V V是对称、有限、正定的;
- 假设6 条件同方差: E ( ε t 2 ∣ x t ) = σ 2 \text{E}(\varepsilon_t^2|x_t)=\sigma^2 E(εt2∣xt)=σ2。
由假设1与假设3,可推出 E ( ε t ∣ X ) = 0 \text{E}(\varepsilon_t|X)=0 E(εt∣X)=0,即满足了严格外生性。另外,由于有假设3的保证, V = Var ( x t ε t ) = E ( x t x t ′ ε t 2 ) V=\text{Var}(x_t\varepsilon_t)=\text{E}(x_t x_t' \varepsilon^2_t) V=Var(xtεt)=E(xtxt′εt2)。
可以看到,在大样本下,不需要对扰动项作出正态分布的假设。而这里的独立同分布假设,也保证了扰动项无自相关,因此,在后续的推导中,只需要考虑假设6是否满足即可。若满足假设6,那么假设5可由假设4保证,若不满足假设6即存在条件异方差,可以用 E ( ε t 4 ) < ∞ \text{E}(\varepsilon_t^4)<\infty E(εt4)<∞和 E ( x t k 4 ) < ∞ \text{E}(x_{tk}^4)<\infty E(xtk4)<∞联合保证假设5的矩条件。在推导后续结论时,一般要对是否满足假设6做分类讨论。
2 一些定理
定理1 独立同分布随机样本的弱大数定律:假设 { Z t } t = 1 n \{Z_t\}_{t=1}^n { Zt}t=1n为独立同分布随机样本, E ( Z t ) = μ \text{E}(Z_t)=\mu E(Zt)=μ且 E ( ∣ Z t ∣ ) < ∞ \text{E}(\vert Z_t\vert)<\infty E(∣Zt∣)<∞,定义 Z ˉ n = n − 1 ∑ t = 1 n Z t \bar Z_n=n^{-1}\sum_{t=1}^{n}Z_t Zˉn=n−1∑t=1nZt,则当 n → ∞ n\to \infty n→∞时,有 Z ˉ n → p μ \bar{Z}_n \xrightarrow{p}\mu Zˉnpμ。
定理2 独立同分布随机样本的多元中心极限定理:若 { Z t } t = 1 n \{Z_t\}_{t=1}^n { Zt}t=1n为独立同分布随机样本, E ( Z t ) = 0 \text{E}(Z_t)=0 E(Zt)=0且 Var ( Z t ) = V \text{Var}(Z_t)=V Var(Zt)=V为有限、对称、正定的矩阵。定义 Z ˉ n = n − 1 ∑ t = 1 n Z t \bar{Z}_n=n^{-1}\sum_{t=1}^{n} Z_t Zˉn