【计量经济学及Stata应用】第 5 章 多元线性回归

5.1 二元线性回归

$$y_i=\alpha +\beta x_{i1}+\gamma x_{i2}+{\epsilon }_i$$
OLS估计量的最优化问题仍为残差平方和最小化：
$$\underset{\hat{\alpha },\hat{\beta },\hat{\gamma }}{\min }\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n(y_i-\hat{\alpha }-\hat{\beta }{x}_{i1}-\hat{\gamma }{x}_{i2}{)}^2$$
从几何上，找到一个回归平面，使得所有样本点离此回归平面最近

cobb_douglas.dta

柯布-道格拉斯生产函数：$$y_t=\alpha k_t^{\beta }{l}_t^{\gamma }{e}^{{\epsilon }_t}$$
两边同时取对数，转化为线性模型：$$ln{y}_t=ln\alpha +\beta ln{k}_t+\gamma ln{l}_t+{\epsilon }_t$$

二元回归的命令：regress y x1 x2

use cobb_douglas.dta,xlear
list
reg lny lnk lnl
predict lny1 //将lny的拟合值记为“lny1”
predict e,residual //计算残差，记为e，选择项“residual”表示计算残差，如果省略此选择项，则默认计算拟合值
list lny lny1 e
line lny lny1 year,lpattern(solid dash)

根据回归结果，可得样本回归平面：$$\widehat{ln{y}_t}=-0.177+0.233ln{k}_t+0.807ln{l}_t$$

产出对数的预测值与实际值相当吻合

5.2 多元线性回归模型

$$y_i={\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\dots +{\beta }_K{x}_{iK}+{\epsilon }_i(i=1,\dots ,n)$$
绝大多数下，回归方程有常数项，故常令$x_{i1}\equiv 1$，方程简化为
$$y_i={\beta }_1+{\beta }_2{x}_{i2}+\dots +{\beta }_K{x}_{iK}+{\epsilon }_i$$
$$y_i=(1x_{i2}\dots x_{iK})\left(\begin{array}{c}{\beta }_1\\ {\beta }_2\\ ⋮\\ {\beta }_K\end{array}\right)+{\epsilon }_i$$
定义列向量：${\mathbf{x}}_{\mathbf{i}}=(1x_{i2}\dots x_{iK}{)}^{\top }$
参数向量：$\mathbf{\beta }=({\beta }_1{\beta }_2\dots {\beta }_K{)}^{\top }$

$$y_i={\mathbf{x}}_{\mathbf{i}}^{\top }\mathbf{\beta }+{\epsilon }_i$$

向量$$\mathbf{y}\equiv \left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right)=\left(\begin{array}{c}{\mathbf{x}}_1^{\top }\\ {\mathbf{x}}_2^{\top }\\ ⋮\\ {\mathbf{x}}_{\mathbf{n}}^{\top }\end{array}\right)\mathbf{\beta }+\left(\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ ⋮\\ {\epsilon }_n\end{array}\right)=\mathbf{X\beta }+\mathbf{\epsilon }$$
数据矩阵：$n\times K$, n个个体，每个个体K个解释变量
$$\mathbf{X}\equiv {\left(\begin{array}{cccc}1& x_{12}& \dots & x_{1K}\\ 1& x_{22}& \dots & x_{2K}\\ ⋮& ⋮& & ⋮\\ 1& x_{12}& \dots & x_{nK}\end{array}\right)}_{n\times K}$$

5.3 OLS估计量的推导

$$\underset{{\hat{\beta }}_1,\dots ,{\hat{\beta }}_K}{\min }\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n(y_i-{\hat{\beta }}_1-{\hat{\beta }}_2{x}_{i2}-{\hat{\beta }}_3{x}_{i3}-\dots -{\hat{\beta }}_K{x}_{iK}{)}^2$$
一阶条件和原来相似，这里不再详细写

正规方程组的矩阵表达形式：
$$\{\begin{array}{rl}\sum _{i=1}^n{e}_i& =0\\ \sum _{i=1}^n{x}_{i2}{e}_i& =0\\ & ⋮\\ \sum _{i=1}^n{x}_{iK}{e}_i& =0\end{array}$$
残差向量$\mathbf{e}\equiv (e_1{e}_2\dots e_n)$和每个解释变量都正交。

正规方程组可简介地写为$${\mathbf{X}}^{\top }\mathbf{e}=0$$
残差向量写为：$\mathbf{e}=\mathbf{y}-\mathbf{X}\hat{\mathbf{\beta }}$

$${\mathbf{X}}^{\top }(\mathbf{y}-\mathbf{X}\hat{\mathbf{\beta }})=0$$
$$({\mathbf{X}}^{\top }\mathbf{X}{)}_{\mathbf{K}\times \mathbf{K}}{\hat{\mathbf{\beta }}}_{\mathbf{K}\times 1}={\mathbf{X}}_{\mathbf{K}\times \mathbf{n}}^{\top }{\mathbf{y}}_{\mathbf{n}\times 1}$$
假设${({\mathbf{X}}^{\top }\mathbf{X})}^{-1}$存在,可求解OLS估计量
$$\hat{\mathbf{\beta }}\equiv {({\mathbf{X}}^{\top }\mathbf{X})}^{-1}{\mathbf{X}}^{\top }\mathbf{y}$$

5.4 OLS的几何解释

拟合值向量和残差向量正交：${\hat{\mathbf{y}}}^{\prime }\mathbf{e}=0$


被解释变量$\mathbf{y}$可分解为相互正交的拟合$\hat{\mathbf{y}}$与残差$\mathbf{e}$之和

5.5 拟合优度

平方和分解公式依然成立


引入校正拟合优度，对解释变量过多(模型不够简洁)进行惩罚。缺点是，它可能为负值。

5.6 古典线性回归模型的假定

为了得到OLS估计量的良好性质，“古典线性回归模型”（Classical Linear Regression Model）作了如下假定：

假定 5.1 线性假定（linearity） $$y_i={\beta }_1+{\beta }_2{x}_{i2}+\dots +{\beta }_K{x}_{iK}+{\epsilon }_i$$
线性假定的含义是每个解释变量对$y_i$的边际效应为常数，比如$\frac{\partial y_i}{\partial x_{i2}}={\beta }_2$（忽略扰动项${\epsilon }_i$）
如果边际效应可变，可加入平方项（比如$x_{i2}^2$）或交叉项（比如$x_{i2}{x}_{i3}$。交叉项也称为互动项。
只要将回归方程中变量的最高次（比如$x^2$）或函数（比如$lnx$）都作为变量来看待，则仍然符合线性模型的假定。
线性假定的本质要求是，回归函数是参数（${\beta }_1,\dots ,{\beta }_K$）的线性函数。

假定 5.2 严格外生性（strict exogeneity） 要求$$E({\epsilon }_i|\mathbf{X})=E({\epsilon }_i|{\mathbf{x}}_1,\dots ,{\mathbf{x}}_{\mathbf{n}})=0(i=1,\dots ,n)$$
严格外生性意味着，在给定数据矩阵$\mathbf{X}$的情况下，扰动项${\epsilon }_i$的条件期望为0。因此${\epsilon }_i$均值独立于所有解释变量的观测数据，而不仅仅是同一观测数据${\mathbf{x}}_{\mathbf{i}}$中的解释变量。这意味着${\epsilon }_i$与所有的解释变量都不相关，即$Cov({\epsilon }_i,x_{jk})=0,\forall j,k$。 此假定很强，在第6章大样本OLS可放松。

假定 5.3 不存在“严格多重共线性”（strict multicollinearity） 即数据矩阵$\mathbf{X}$满列秩
这意味着，数据矩阵的各列向量为线性无关，即不存在某个解释变量为另一个解释变量的倍数，或可由其他解释变量线性表出的情形。换言之，$\mathbf{X}$中不存在多余的变量。
在现实数据中，并不容易出现严格多重共线性。即使出现，Stata也会自动识别，并去掉多余的变量。

5.7 OLS的小样本性质

在古典线性回归模型的假定5.1—5.3之下，OLS估计量具有以下良好性质

（1）线性性。 OLS估计量$\hat{\mathbf{\beta }}$为线性估计量。

（2）无偏性。$E(\hat{\mathbf{\beta }}|\mathbf{X})=\mathbf{\beta }$，即$\hat{\mathbf{\beta }}$不会系统地高估或低估$\mathbf{\beta }$

（3）估计量$\hat{\mathbf{\beta }}$的协方差矩阵
$$Var(\hat{\mathbf{\beta }}|\mathbf{X})=({\mathbf{X}}^{\prime }\mathbf{X}{)}^{-1}Var(\mathbf{\epsilon }|\mathbf{X})\mathbf{X}({\mathbf{X}}^{\prime }\mathbf{X}{)}^{-1}$$

假设 5.4 球形扰动项（spherical disturbance） 扰动项满足“同方差”、“无自相关”的相知，故扰动项$\epsilon$的协方差矩阵可写为
$$Var(\mathbf{\epsilon }|\mathbf{X})={\sigma }^2{\mathbf{I}}_n=\begin{array}{c}\left(\begin{array}{cccc}{\sigma }^2& 0& \dots & 0\\ 0& {\sigma }^2& \dots & 0\\ ⋮& ⋮& & ⋮\\ 0& 0& \dots & {\sigma }^2\end{array}\right)\end{array}$$
主对角线元素都等于${\sigma }^2$，即满足“条件同方差”，简称“同方差”
非主对角线元素都为0，故不同个体的扰动项之间无“自相关”或“序列相关”

在球形扰动项的假定下，
$$Var(\hat{\mathbf{\beta }}|\mathbf{X})={\sigma }^2({\mathbf{X}}^{\prime }\mathbf{X}{)}^{-1}$$

（4）高斯-马尔可夫定理
在假定5.1—5.4之下，最小二乘法是最佳线性无偏估计（Best Linear Unbiased Estimator，BLUE），即存在所有线性的无偏估计量中，最小二乘法的方差最小。

（5）对扰动项方差的无偏估计

对某统计量的标准差的估计值称为该统计量的标准误

5.8 对单个系数的t检验

假定5.5 在给定$\mathbf{X}$的情况下，$\mathbf{\epsilon }|\mathbf{X}$的条件分布为正态，即$\mathbf{\epsilon }|\mathbf{X}\sim N(0,{{\mathbf{\sigma }}^2\mathbf{I}}_n)$。

定理（t统计量的分布）
在假定5.1—5.5均满足，且原假设“$H_0:{\beta }_k=c$”也成立的情况下，$t$统计量服从自由度为$(n-K)$的$t$分布：
$$t_k\equiv \frac{{\hat{\beta }}_k-c}{SE({\hat{\beta }}_k)}\sim t(n-K)$$
其中$SE({\hat{\beta }}_k)\equiv \sqrt{s^2({\mathbf{X}}^{\prime }\mathbf{X}{)}_{kk}^{-1}}$为${\hat{\beta }}_k$的标准误。
更一般地，$t$统计量的通用公式为$$t\equiv \frac{估计量-假想值}{估计量的标准误}$$
从上式可知，$t$统计量度量估计量$({\hat{\beta }}_k)$离假想值$(c)$的距离，并以估计量的标准误$SE({\hat{\beta }}_k)$作为距离的度量单位，即此距离为标准误的多少倍。

1.$t$检验的步骤

第一步：计算$t$统计量，记其具体取值为$t_k$。如果$H_0$为真，则$|t_k|$很大的概率很小。【一般$|t_k|$小，拒绝原假设】

第二步：计算“显著性水平”为$\alpha$的“临界值”$t_{\alpha /2}(n-K)$，其中$t_{\alpha /2}(n-K)$的定义为
P { T > t α / 2 ( n − K ) } = P { T < − t α / 2 ( n − K ) } = α / 2 P\{T>t_{\alpha /2}(n-K)\}=P\{T<-t_{\alpha /2}(n-K)\}=\alpha/2 P{T>tα/2​(n−K)}=P{T<−tα/2​(n−K)}=α/2
在实践中，通常取$\alpha =5\%$，则$\alpha /2=2.5\%$。有时也使用$\alpha =1\%$或$\alpha =10\%$

第三步：如果$|t_k|\ge t_{\alpha /2}(n-K)$，则$t_k$落入“拒绝域”，故拒绝$H_0$；反之，落入“接受域”，故接受$H_0$

2.计算$p$值

在双边$t$检验中，给定$t$统计量的样本观测值$t_k$，此假设检验问题的$p$值(probability value，即p-value)为
$$p值\equiv P(|T|>|t_k|)$$

定义：称原假设可被拒绝的最小显著性水平为此假设检验问题的$p$值(probability value，即p-value)

显然，$p$值越小，越倾向于拒绝原假设。

计算临界值还需要查表，计算p值更简单，并且p值进行假设检验一般比临界值更有信息量。

3.计算置信区间

4.单边检验

• 单边右侧检验
  原假设$H_0:{\beta }_k=0$备择假设$H_1:\beta >0$
  $t$统计量：$$t_k\equiv \frac{{\hat{\beta }}_k}{SE({\hat{\beta }}_k)}\sim t(n-K)$$
  如果$t$统计量很大，则倾向于拒绝原假设；而如果此$t$统计量很小（比如负数），则倾向于接受原假设。
  $$p值\equiv P(T>t_k)$$
  
  
• 单边左侧检验
  原假设$H_0:{\beta }_k=0$备择假设$H_1:\beta <0$
  $t$统计量越小（比如负数），则越倾向于拒绝原假设。
  $$p值\equiv P(T<t_k)$$
  

5.第Ⅰ类错误与第Ⅱ类错误

$定义第Ⅰ类错误指的是，虽然原假设为真，但却根据观测数据做出了拒绝原假设的错误判断，即“弃真”。$
$第Ⅰ类错误发生的概率为$
$$P(拒绝H_0|H_0)=P(检验统计量落入拒绝域|H_0)=\alpha$$

$定义第Ⅱ类错误指的是，虽然原假设为假（替代假设为真），但却根据观测数据做出了接受假设的错误$
$判断，即“存伪”。$
$第Ⅱ类错误的发生概率为$
$$P(接受H_1|H_1)=P(检验统计量落入接受域|H_1)$$

$定义称“1减去第Ⅱ错误的发生概率”为统计检验的“功效”或“势”，即$
$$功效=1-P(接受H_0|H_1)=P(拒绝H_0|H_1)$$

5.9 对线性假设的F检验

【检验整个回归方程是否显著】



定理（F统计量的分布）

\quad 在假定5.1—5.5均满足，且原假设$H_0:\mathbf{R\beta }=\mathbf{r}$也成立的情况下，则$F$统计量服从自由度为$(m,n-K)$的$F$分布：
$$F\equiv \frac{(\mathbf{R}\hat{\mathbf{\beta }}-\mathbf{r}{)}^{\prime }[\mathbf{R}({\mathbf{X}}^{\prime }\mathbf{X}{)}^{-1}{\mathbf{R}}^{\prime }{]}^{-1}(\mathbf{R}\hat{\mathbf{\beta }}-\mathbf{r})/m}{s^2}\sim F(m,n-K)$$

5.10 F统计量的似然比原理表达式

在作假设检验时，如果接受原假设，则可将此原假设作为约束条件，代入最小二乘法的最优化问题。使用约束条件下的最小二乘法，即“约束最小二乘法”。
$$\begin{gathered} \underset{\hat{\beta }}{\min }SSR(\hat{\beta }) \\ s.t.\mathbf{R}\hat{\mathbf{\beta }}=\mathbf{r} \end{gathered}$$
记无约束回归的残差平方和为SSR，而有约束回归的残差平方和为SSR*。由此构造如下$F$统计量
$$F=\frac{(SS{R}^{\ast }-SSR)/m}{SSR/(n-K)}$$
这种通过比较“条件极值”与“无条件极值”而进行的检验，统称为“似然比检验”。

另一种表达。$F$统计量的似然比表达式也可以通过拟合优度来表示。记$R^2$为无约束回归的拟合优度，而$R_{\ast }^2$为约束回归的拟合优度，则
$$F=\frac{(R^2-R_{\ast }^2)/m}{(1-R^2)/(n-K)}$$

5.11 预测

暂时略

5.12 多元回归的Stata示例

在Stata中进行多元回归的命令为regress y x1 x2 x3

数据集 grilic.dta

对以下方程进行多元回归估计
$$lnw={\beta }_1+{\beta }_{2}s+{\beta }_{3}expr+{\beta }_{4}tenure+{\beta }_{5}smsa+{\beta }_{6}rns+\epsilon$$

reg lnw s expr tenure smsa rns

vce显示回归系数的协方差矩阵
主对角线元素为各回归系数的方差，而非主对角线则为相应的协方差

只对南方居民的子样本进行回归

reg lnw s expr tenure smsa if rns 

只对北方居民的子样本进行回归，可使用命令

reg lnw s expr tenure smsa if ~rns 

只对中学生以上(s>=12)的子样本进行回归

reg lnw s expr tenure smsa if s>=12

只对中学以上(s>=12)且在南方居住的子样本进行回归

reg lnw s expr tenure smsa if s>=12&rns

quietly表示不会报回归结果

test进行t检验，简写te

test s=0.1
//原假设为：变量s的系数等于0.1

$检验expr与tenure的系数是否相等，即检验H_0:{\beta }_3={\beta }_4$

test expr =tenure

$检验工龄回报率与现单位年限回报率之和是否等于教育回报率，即H_0:{\beta }_3+{\beta }_4={\beta }_2$

test expr + tenure=s