OLS 大样本推导

1 小样本与大样本数据的比较

采用小样本数据估计线性模型参数存在如下缺陷：

• 小样本要求严格外生性，即解释变量与任意时期扰动项均不相关（因为要求过于严格，故称为严格外生性假设）；而大样本只要求解释变量与本期的扰动项不相关即可

• 小样本必须知道精确分布，分布推导过于繁琐；大样本的分布具有渐进性，推导容易

• 搜寻成本上，小样本的成本低于大样本；对于大样本的界定模糊（因为大有样本理论上要求$n\to \infty$）

---

2 大样本OLS假定

2.1 线性假定

线性回归模型满足如下线性形式
$$y_i={\mathbf{x}}_i^{\prime }\mathbf{\beta }+{\epsilon }_i$$

2.2 渐进独立平稳过程

随机过程 { y i , x i } \{y_i,x_i\} {yi​,xi​}在较长的时间点上存在独立性。也就是随机变量在较短的时间间隔允许存在相关性（非独立），但在较长时间内不存在“长记忆”。今天你的行为会影响明天的你结果，但不会影响十年后你的表现。

2.3 预定解释变量

所有解释变量与同期的扰动项正交，即$E(x_{ik}{\epsilon }_i)=0,\forall i,k$。其中
$$Cov(x_{ik}{\epsilon }_i)=E(x_{ik}{\epsilon }_i)-E(x_{ik})E({\epsilon }_i)=0$$
其中$i$表示时期，下角标$k$为变量标识。定义$i$时期（次观测）向量：
$${\mathbf{g}}_i={\mathbf{x}}_i{\epsilon }_i=\left(\begin{array}{c}{x}_{i1}\\ ⋮\\ x_{iK}\end{array}\right){\epsilon }_i$$
其中$E({\mathbf{g}}_i)=E({\mathbf{x}}_i{\epsilon }_i)=0_{K\times 1}$。假定所有解释变量与同期的扰动项正交，而与扰动项的过去与未来可以不正交。注：小样本OLS的严格外生性假定更强，即$E(x_{ik}{\epsilon }_j)=0,\forall j,k$

2.4 满秩条件

为防止出现（完全）多重共线性，矩阵$E(x_i{x}_i^{\prime }{)}_{K\times K}$满秩(非退化矩阵)，逆矩阵$E(x_i{x}_i^{\prime }{)}^{-1}$存在，且$E(x_i{x}_i^{\prime })$为正定对称阵。

2.5 鞅差分序列

${\mathbf{g}}_i$为鞅差分序列，即$E({\mathbf{g}}_i|{\mathbf{g}}_{i-1},\cdots {\mathbf{g}}_1)=0$，其协方差矩阵为
$$\mathbf{S}=E({\mathbf{g}}_i{\mathbf{g}}_i^{\prime })=E({\mathbf{x}}_i{\epsilon }_i{\epsilon }_i^{\prime }{\mathbf{x}}_i^{\prime })=E({\epsilon }_i^2{\mathbf{x}}_i{\mathbf{x}}_i^{\prime })$$

大样本OLS不需要“严格外生性”与“正态随机扰动项”与假设，更符合实际情况。

---

2 大样本OLS估计量推导

设多元线性回归模型
$$Y_i=b_0+b_1{x}_{1i}+\cdots +b_k{x}_{ki}+{\epsilon }_i$$
通过$OLS$得该模型的参数估计量为
$$\mathbf{b}=({\mathbf{X}}^{\prime }\mathbf{X}{)}^{-1}{\mathbf{X}}^{\prime }\mathbf{Y}$$
其中
$$\mathbf{X}=\left(\begin{array}{cccc}1& x_{11}& \cdots & x_{k1}\\ 1& x_{12}& \cdots & x_{k2}\\ ⋮& ⋮& & ⋮\\ 1& x_{1n}& \cdots & x_{kn}\end{array}\right)，\mathbf{Y}=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)$$
为了得到大样本估计的参数估计量先将数据矩阵写为列向量
$$\mathbf{X}=\left(\begin{array}{cccc}1& x_{11}& \cdots & x_{k1}\\ 1& x_{12}& \cdots & x_{k2}\\ ⋮& ⋮& & ⋮\\ 1& x_{1n}& \cdots & x_{kn}\end{array}\right)=\left(\begin{array}{c}{\mathbf{x}}_1^{\prime }\\ {\mathbf{x}}_2^{\prime }\\ ⋮\\ {\mathbf{x}}_n^{\prime }\end{array}\right)$$
其中${\mathbf{x}}_i=(1,x_{1i},\cdots x_{ki}{)}^{\prime }$为行观测向量，故
$${\mathbf{X}}^{\prime }\mathbf{X}=({\mathbf{x}}_1{\mathbf{x}}_2\cdots {\mathbf{x}}_n)\left(\begin{array}{c}{\mathbf{x}}_1^{\prime }\\ {\mathbf{x}}_2^{\prime }\\ ⋮\\ {\mathbf{x}}_n^{\prime }\end{array}\right)={\mathbf{x}}_1{\mathbf{x}}_1^{\prime }+\cdots +{\mathbf{x}}_n{\mathbf{x}}_n^{\prime }=\sum _{i=1}^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }\text{\hspace{1em}(1)}$$
其次
$${\mathbf{X}}^{\prime }\mathbf{Y}=({\mathbf{x}}_1{\mathbf{x}}_2\cdots {\mathbf{x}}_n)\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)={\mathbf{x}}_1{y}_1+\cdots +{\mathbf{x}}_n{y}_n=\sum _{i=1}^n{\mathbf{x}}_i{y}_i\text{\hspace{1em}(2)}$$
参数向量$\mathbf{b}$可写作
$$\mathbf{b}=({\mathbf{X}}^{\prime }\mathbf{X}{)}^{-1}{\mathbf{X}}^{\prime }\mathbf{Y}=(\frac{{\mathbf{X}}^{\prime }\mathbf{X}}{n}{)}^{-1}\frac{{\mathbf{X}}^{\prime }\mathbf{Y}}{n}$$
其中$n$为样本观测。将（1）（2）带入上式得
$$\mathbf{b}=(\frac{{\sum }_{i=1}^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }}{n}{)}^{-1}\frac{{\sum }_{i=1}^n{\mathbf{x}}_i{y}_i}{n}$$
记$S_{XX}=\frac{1}{n}{\sum }_{i=1}^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }$，$S_{XY}=\frac{1}{n}{\sum }_{i=1}^n{\mathbf{x}}_i{y}_i$，则向量
$$\mathbf{b}=S_{XX}^{-1}{S}_{XY}$$
特殊地，当$k=1$时一元线性回归方程其参数估计结果为
$$b_1=\frac{{\sum }_{i=1}^n(x_{1i}-{\bar{x}}_{1i})(y_i-{\bar{y}}_i)}{{\sum }_{i=1}^n{x}_{1i}^2}=\frac{S_{XY}}{S_{XX}}$$
即一元线性回归方程的斜率等于解释变量与被解释变量的协方差和解释变量的方差之比，而对于多元线性回归方程，其参数也可表示为数据矩阵的方差的逆矩阵与数据矩阵和被解释变量之间的协方差矩阵之积。

---

3 大样本OLS估计量性质

3.1 一致性

• $\mathbf{b}$为一致估计量，即$p\underset{n\to \infty }{\lim }\mathbf{b}=\mathbf{\beta }$，其中$\mathbf{\beta }$为总体参数。下面是简单证明
  $$\mathbf{b}-\mathbf{\beta }=(\mathbf{X}\mathbf{X}{)}^{-1}{\mathbf{X}}^{\prime }\mathbf{\epsilon }={\left(\frac{{\mathbf{X}}^{\prime }\mathbf{X}}{n}\right)}^{-1}\frac{{\mathbf{X}}^{\prime }\mathbf{\epsilon }}{n}={\left(\frac{{\sum }_{i=1}^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }}{n}\right)}^{-1}\left(\frac{{\sum }_{i=1}^n{\mathbf{x}}_i{\epsilon }_i}{n}\right)={\mathbf{S}}_{XX}^{-1}\overline{\mathbf{g}}$$
  根据假定2.2
  $${\mathbf{S}}_{XX}\equiv \frac{1}{n}\sum _{i=1}^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }\stackrel{p}{⟶}\mathrm{E}\left({\mathbf{x}}_i{\mathbf{x}}_i^{\prime }\right)$$
  且
  $$\overline{\mathbf{g}}\equiv \frac{1}{n}\sum _{i=1}^n{\mathbf{g}}_i\stackrel{p}{⟶}\mathrm{E}\left({\mathbf{g}}_i\right)=\mathrm{E}\left({\mathbf{x}}_i{\epsilon }_i\right)=0$$
  故
  $$\mathbf{b}-\mathbf{\beta }\to 0$$
  由此看出，$\mathbf{b}$为一致估计量前提是解释变量与同期的扰动项正交（不相关）

---

3.2 渐进正态性

若${\mathbf{g}}_i$为鞅差分序列，则

$$\sqrt{n}(\mathbf{b}-\mathbf{\beta })\stackrel{d}{\to }N(0,Avar(\mathbf{b}))$$

其中
$$\begin{array}{rl}Avar(\mathbf{b})& ={\mathbf{S}}_{XX}^{-1}\mathbf{S}{\mathbf{S}}_{XX}^{-1}=[E({\mathbf{x}}_i{\mathbf{x}}_i^{\prime }){]}^{-1}\mathbf{S}[E({\mathbf{x}}_i{\mathbf{x}}_i^{\prime }){]}^{-1}\\ \mathbf{S}& =E({\mathbf{g}}_i{\mathbf{g}}_i^{\prime })=E({\mathbf{x}}_i{\epsilon }_i{\epsilon }_i^{\prime }{\mathbf{x}}_i^{\prime })=E({\epsilon }_i^2{\mathbf{x}}_i{\mathbf{x}}_i^{\prime })\end{array}$$
其中$\mathbf{S}$的无偏估计由样本残差和解释变量观测估计出
$$\hat{\mathbf{S}}=\frac{1}{n}\sum _i^n{e}_i^2{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }$$
故$\mathbf{b}$的渐进独立协方差的无偏估计量为
$$\begin{array}{rl}\widehat{Avar}(\mathbf{b})& =(\frac{1}{n}\sum _i^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }{)}^{-1}\frac{1}{n}\sum _i^n{e}_i^2{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }(\frac{1}{n}\sum _i^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }{)}^{-1}\\ & =(\frac{1}{n}\sum _i^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }{)}^{-1}\frac{1}{n}\sum _i^n{e}_i^2{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }(\frac{1}{n}\sum _i^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }{)}^{-1}\\ & =\frac{1}{n}(\sum _i^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }{)}^{-1}\sum _i^n{e}_i^2{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }(\sum _i^n{\mathbf{x}}_i{\mathbf{x}}_i^{\prime }{)}^{-1}\end{array}$$
若$\hat{\mathbf{S}}$为$\mathbf{S}$的一致估计量，则${\mathbf{S}}_{XX}^{-1}\hat{\mathbf{S}}{\mathbf{S}}_{XX}^{-1}$为${\mathbf{S}}_{XX}^{-1}\mathbf{S}{\mathbf{S}}_{XX}^{-1}$的一致估计量(证明略)

---

4 大样本OLS假设检验

系数检验假设：
$$H_0:{\beta }_k={\bar{\beta }}_k$$

当$H_0$成立时，$\sqrt{n}(b_k-{\bar{\beta }}_k)\stackrel{d}{\to }N(0,Avar(b_k))$,其中$b_k$为OLS估计量$\mathbf{b}$的第$k$个元素。定义$t$统计量
$$t_k\equiv \frac{\sqrt{n}\left(b_k-{\bar{\beta }}_k\right)}{\sqrt{\widehat{\mathrm{Avar}}\left(b_k\right)}}=\frac{b_k-{\bar{\beta }}_k}{\sqrt{\frac{1}{n}\widehat{\mathrm{Avar}}\left(b_k\right)}}\equiv \frac{b_k-{\bar{\beta }}_k}{{\mathrm{S}\mathrm{E}}^{\ast }\left(b_k\right)}\stackrel{d}{⟶}N(0,1)\text{\hspace{1em}(3)}$$

其中
$${\mathrm{S}\mathrm{E}}^{\ast }\left(b_k\right)\equiv \sqrt{\frac{1}{n}\widehat{\mathrm{A}\mathrm{v}\mathrm{a}\mathrm{r}}\left(b_k\right)}=\sqrt{\frac{1}{n}{\left(S_{XX}^{-1}\hat{S}{S}_{XX}^{-1}\right)}_{kk}}$$
为异方差稳健标准误，异方差稳健标准误具有两个作用

• 反映大样本估计量的标准误
• 没有球形扰动假设的干扰，可在自相关异方差存在时使用

条件同方差假设下$\mathrm{E}\left({\epsilon }_i^2\mid x_i\right)={\sigma }^2>0$，异方差稳健标准误还原为一般标准误
$$S\equiv \mathrm{E}\left(x_i{x}_i^{\prime }{\epsilon }_i^2\right)={\mathrm{E}}_{x_i}\mathrm{E}\left(x_i{x}_i^{\prime }{\epsilon }_i^2\mid x_i\right)={\mathrm{E}}_{x_i}\left[x_i{x}_i^{\prime }\mathrm{E}\left({\epsilon }_i^2\mid x_i\right)\right]={\sigma }^2\mathrm{E}\left(x_i{x}_i^{\prime }\right)$$
由于$s^2\stackrel{p}{⟶}{\sigma }^2,S_{XX}\stackrel{p}{⟶}\mathrm{E}\left(x_i{x}_i^{\prime }\right)$，故
$$\begin{array}{l}\widehat{\mathrm{Avar}}(\mathbf{b})={\mathbf{S}}_{XX}^{-1}\left(s^2{\mathbf{S}}_{XX}\right){\mathbf{S}}_{XX}^{-1}=s^2{\mathbf{S}}_{XX}^{-1}=s^2{\left(\frac{1}{n}{\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}=n{s}^2{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}^{-1}\\ \\ {\mathrm{S}\mathrm{E}}^{\ast }\left(b_k\right)=\sqrt{\frac{1}{n}\widehat{\mathrm{Avar}}\left(b_k\right)}=\sqrt{\frac{1}{n}\cdot n{s}^2{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}_{kk}^{-1}}=\sqrt{s^2{\left({\mathbf{X}}^{\prime }\mathbf{X}\right)}_{kk}^{-1}}\end{array}$$

---

-END-

参考文献

陈强.高级计量经济学[M].高等教育出版社

更多内容，关注公众号“那由他的学习笔记”