【计量经济学】工具变量估计与两阶段最小二乘法

工具变量估计与两阶段最小二乘法–潘登同学的计量经济学笔记

本篇着重解决内生解释变量问题，内生性就是模型中一个或者多个解释变量与随机扰动项相关；内生性产生的原因有

• 遗漏变量，且遗漏变量与模型中的其他解释变量相关；
• 解释变量与被解释变量相互作用，相互影响，互为因果；
• 自我选择偏误；
• 样本选择偏误；

工具变量估计

举个最简单的例子，经济学里基本的供求模型告诉我们，供给曲线（p = a + bq）和需求曲线（p = c - dq）共同决定了价格（p）和交易量（q）。然而现实中我们能够观察到的，只是一组均衡时的 p 和 q，基于这个数据，我们用回归只能得到斜率和截距两个参数的估计值。但供给曲线和需求曲线里一共有四个参数（a b c d）。此时，通过回归这种 “简约式（reduced form）” 估计得到的参数，无助于我们得知 “结构式（structural form）” 模型中的 “深层参数（deep parameter）”。我们的系统里的p和q都是内生变量，所以才会出现无法识别的情况。怎么解决这个问题呢？经典的办法是，假定存在着某个不影响需求，只影响供给（或者反过来）的外生变量。比如在渔业中，海上的坏天气很可能阻碍渔船出海，形成一个供给侧的冲击，但应该不会改变人们对海产品的需求。根据天气的变化，我们就有可能估计出全部的四个参数。事实上，这也是 “工具变量（instrumental variable）” 这一估计方法的起源。

面对可能发生的遗漏变量偏误(或无法观察的异方差性)，我们已经讨论的三种解决方案

1. 忽略此问题，得到有偏而不一致的估计量；
2. 我们尝试为无法观测的变量寻找一个适宜的代理变量；
3. 我们假定遗漏变量不随时间变化，运用一阶固定效应或一阶差分法

教育工资模型
$$\log (wage)={\beta }_0+{\beta }_{1}educ+{\beta }_{2}abil+e$$
如果找不到合适的代理变量去代替能力(abil),那么就只能把abil放进误差项里面；此时，若educ与abil相关，那么用OLS得到的估计量就会是有偏而不一致的；

一般起见，将abil放进误差项中，重新一般化上述模型
$$y={\beta }_0+{\beta }_{1}x+u$$
若x与u相关，我们可以找一个工具变量z，该变量满足
$$\begin{gathered} Cov(z,u)=0(1) \\ Cov(z,x)\ne 0(2) \end{gathered}$$
一般地，人们将满足上述条件的z概括为“z在方程中是外生的”

• 条件$(1)$往往无法检验

• 条件$(2)$则可以构造简单回归，检验系数是否为零
  $$x={\pi }_0+{\pi }_{1}z+v$$

• 工具变量选择举例
  

在选择工具变量时，处理关注$\widehat{{\pi }_1}$的显著性，更要注意他的符号，显著为正的相关关系更有说服力，显著为负的不一定好(但是解释的好也能用)，除了显著性更重要的是经济学逻辑；

IV估计量

我们改写上述方程
$$Cov(z,y)={\beta }_{1}Cov(z,x)+Cov(z,u)$$

将分子分母的样本容量约去后，得到${\beta }_1$的工具变量估计量
$${\hat{\beta }}_1=\frac{{\sum }_{i=1}^n(z_i-\bar{z})(y_i-\bar{y})}{{\sum }_{i=1}^n(z_i-\bar{z})(x_i-\bar{x})}$$

• 特别地，当$x=z$时，我们得到的OLS估计量；
• 若满足$(1)(2)$的假定，${\beta }_1$的IV估计量具有一致性,$plim({\hat{\beta }}_1)={\beta }_1$

注意 无论是OLS还是IV都只是一种估计方法，一个模型就是一个方程，至于用什么去估计模型参数可以是不同的，所以在论述的时候不能说‘我估计了一个IV模型’，只能说‘我采用IV方法来估计模型’；

IV估计法做统计推断

与OLS一致，增加一个同方差假定
$$E(u^2|z)={\sigma }^2(3)$$
可以证明，满足三条假定的情况下，${\hat{\beta }}_1$的渐近方差为
$$\frac{{\sigma }^2}{n{\sigma }_x^2{\rho }_{x,z}^2}$$
其中，

• ${\sigma }_x^2$是x的总体方差，可以根据样本中的x计算得出；
• ${\sigma }^2$是u的总体方差，可以用回归得到的残差进行估计；
• ${\rho }_{x,z}^2$是x与z之总体相关系数的平方，可以做x对z的回归得到$R^2$；
• 与OLS估计量一样，IV估计量的渐近方差以$\frac{1}{n}$的速度降至0；

$\widehat{{\beta }_1}$的渐近标准误则可以写成(是上式的估计渐近方差的平方根)
$$\sqrt{\frac{\widehat{{\sigma }^2}}{SS{T}_x{\dot{R}}_{x,z}^2}}$$
对比OLS的方差$\frac{{\sigma }^2}{SS{T}_x}$,IV估计量的方差$\frac{{\sigma }^2}{SS{T}_x{\dot{R}}_{x,z}^2}$,区别就在$R_{x,z}^2$上，由于$R_{x,z}^2$总是小于1,所以这个IV的方差总是大于OLS的方差；若x与z只是轻度相关，则$R_{x,z}^2$便很小，而这将转化为IV估计量的一个非常大的抽样方差，而这个值越大，IV估计量的方差就越小，在$z=x$时，$R_{x,z}^2=1$很自然地转化为了OLS的方差；

举个例子

估计已婚女性的教育回报

估计对男性的教育回报

二值工具变量

弱工具问题

当工具变量违背了$Cov(z,u)=0$，会造成严重的偏误
$$plim{\hat{\beta }}_{1,IV}={\beta }_1+\frac{Corr(z,u)}{Corr(z,x)}\cdot \frac{{\sigma }_u}{{\sigma }_x}$$
而当$Cov(z,x)$趋近于零的时候，更会加重这种偏误，而当工具违背了$Cov(z,x)\ne 0$则会导致奇怪的结论； 下面是一个违背了假设$(2)$的例子

IV中的$R^2$

$$R^2=1-\frac{SSR}{SST}$$
其中$SSR$是残差平方和，而$SST$是y的总平方和，与OLS不同，由于IV的SSR实际上可能大于SST,所以IV的估计中$R^2$可能为负。这个$R^2$不能用于F检验，如果我们只是想最大$R^2$的话，我们倾向于使用OLS； 说白了IV的$R^2$就是没啥用.

多元回归模型的IV估计

考虑包含两个解释变量的标准线性模型
$$y_1={\beta }_0+{\beta }_1{y}_2+{\beta }_2{z}_1+u$$
称这个方程为结构方程，我们关注的是${\beta }_j$，做如下规定：

• $y_1$显然是内生变量
• $z_1$是外生变量
• $y_2$是内生变量，与u中的遗漏变量相关

我们可以寻找$y_2$的一个工具变量$z_2$，这个工具变量除了要满足
$$\begin{gathered} Cov(z_2,u)=0(4) \\ Cov(z_2,y)\ne 0(5) \end{gathered}$$
但是对于$(5)$的判断不能像之前一样只建立一元回归来判断，而是要考虑偏相关
$$y_2={\pi }_0+{\pi }_1{z}_1+{\pi }_2{z}_2+v(\ast )$$
其中，根据前提假设
$$E(v)=0,Cov(z_1,v_2)=0,Cov(z_2,v_2)=0$$
而要检验的假设是(我们希望的拒绝他，这样$z_2$就是$y_2$的工具变量)
$${\pi }_2=0$$
还是那句话，虽然能得到相关，但是我们无法检验$z_2$与u无关，这需要经济学逻辑；

其中$(\ast )$是简约型方程的一个例子，他意味着我们是用外生变量来表示内生变量，这个名称源于联立方程模型； 将其更一般化，我们可以在模型中添加更多外生解释变量:
$$y_1={\beta }_0+{\beta }_1{y}_2+{\beta }_2{z}_1+\dots +{\beta }_k{z}_{k-1}+u$$
找一个$y_2$的工具变量$z_k$,我们做以下假定
$$E(u)=0,Cov(z_j,u)=0,j=1,\dots ,k$$
虽然表面上说$y_2$的工具变量是$z_k$，但实际上,$z_1,\dots ,z_k$都可以是$y_2$的工具变量，为了检验$z_k$，$y_2$的简约模型为
$$y_2={\pi }_0+{\pi }_1{z}_1+\dots +{\pi }_{k-1}{z}_{k-1}+{\pi }_k{z}_k+v$$
检验的假设是(我们希望的拒绝他，这样$z_k$就是$y_2$的工具变量)
$${\pi }_k=0$$

举个例子

• 用邻近大学作为教育的IV
  

两阶段最小二乘

两阶段最小二乘的核心思路是： y的工具变量不止有一个，可能有很多个；

考虑以下模型
$$y_1={\beta }_0+{\beta }_1{y}_2+{\beta }_2{z}_1+u$$

• $y_2$是内生变量；
• $z_1$是外生变量；
• $z_2、z_3$是被方程排除在外的外生变量；

1. 为了寻找最好的IV，由$y_2$的简约型方程
   $$y_2={\pi }_0+{\pi }_1{z}_1+{\pi }_2{z}_2+{\pi }_3{z}_3+v$$
   其中，满足前提假定
   $$E(v_2)=0,Cov(z_1,v)=0,Cov(z_2,v)=0,Cov(z_3,v)=0$$
2. $y_2$最好的IV，应该是这些$z_j$的线性组合，我们称之为$y_2^{\ast }$
   $$y_2^{\ast }={\pi }_0+{\pi }_1{z}_1+{\pi }_2{z}_2+{\pi }_3{z}_3(6)$$
3. 为了使该IV与$z_1$不是完全相关的，我们需要${\pi }_2或{\pi }_3$之中至少有一个不为0；
   $${\pi }_2\ne 0或{\pi }_3\ne 0$$
   采取F检验，原价设为
   $${\pi }_2=0且{\pi }_3=0$$
4. 利用样本，我们将$y_2$对$z_1,z_2,z_3$进行回归
   $${\hat{y}}_2=\widehat{{\pi }_0}+\widehat{{\pi }_1}{z}_1+\widehat{{\pi }_2}{z}_2+\widehat{{\pi }_3}{z}_3$$
5. 得到${\hat{y}}_2$，就可以当作$y_2$的IV，带回原方程，得到IV估计量；在此方法下，得到的IV估计量也称为两阶段最小二乘估计量；

经济学家喜欢这样解释两阶段最小二乘，拟合值${\hat{y}}_2$是$y_2^{\ast }$的估计形式，$y_2^{\ast }$与u不相关，因此，2SLS在做OLS回归前“清除了”$y_2$中与u的相关性；

职业女性的教育回报的例子

多个内生解释变量

如果模型有不止一个内生解释变量，假设为$y_2,y_3$，我们至少需要两个外生变量，如$z_4,z_5$,但是如果只有一个外生变量$z_4$出现在$y_2,y_3$约简型方程中，而$z_5$没有出现，那么得到的${\beta }_j$就是有偏的；

总结需要的条件

• 阶条件：被排斥的外生变量 $\ge$ 结构方程中的内生变量

内生性检验

当解释变量外生时，2SLS估计量的有效性不如OLS；2SLS估计值的标准误较大；

考虑一个疑似有内生变量的模型
$$y_1={\beta }_0+{\beta }_1{y}_2+{\beta }_2{z}_1+{\beta }_3{z}_2+u$$
其中，

• $z_1,z_2$是外生的，$z_3,z_4$是被排斥的外生变量；

• $y_2$可能是内生的；

• 豪斯曼认为，可以直接比较OLS与2SLS的估计值是否有显著性区别，因为如果变量是外生的，那么估计值应该一致

• 但利用回归能更好的检验，要以$y_2$的简约型为基础
  $$y_2={\pi }_0+{\pi }_1{z}_1+{\pi }_2{z}_2+{\pi }_3{z}_3+{\pi }_4{z}_4+v$$
  因为各个$z_j与u$不相关的充要条件是$v与u$不相关(我理解的是，用外生变量替代的工具变量$y_2$应该要与u不相关，而这个工具变量一定与v相关，所以要求v与u不相关才行)

我们需要检验的就是$u={\delta }_{1}v+e$，其中$e与v$不相关，$v与u$不相关的充要条件是${\delta }_1=0$,而检验这一点最简单的就是直接将v加入方程,而$\hat{v}$则是通过OLS估计得到
$$y_1={\beta }_0+{\beta }_1{y}_2+{\beta }_2{z}_1+{\beta }_3{z}_2+{\delta }_1\hat{v}+e$$
如果拒绝了原价设${\delta }_1=0$,那么可以断定$y_2$是内生的；

总结 --检验单个解释变量内生性

1. 通过将$y_2$对所有外生变量回归(包括结构方程中的外生变量和额外的IV)回归而估计$y_3$的约简方程，得到残差$\hat{v}$
2. 在(包括$y_2$的)结构方程中添加$\hat{v}$,并用一个OLS回归检验$\hat{v}$的显著性，若$\hat{v}$的系数显著异于零，就判断$y_2$确实是内生的。我们可能需要用到一个异方差-稳健的t统计量；

职业女性的教育回报的例子

过度识别约束检验

前面我们对外生工具变量做了两个假定：
$$\begin{gathered} Cov(z,u)=0(1) \\ Cov(z,x)\ne 0(2) \end{gathered}$$
我们说$(2)$是可以检验的，但是$(1)$不能检验，需要基于经济学逻辑，然而如果不止有一个工具变量(或者工具变量数大于内生解释变量)，那么我们就能有效地检验他们中的一部分是否与结构误差不相关；

假如内生变量$y_2$有两个工具变量$z_3和z_4$的条件下，我们可以选择同时用两个工具变量作为$y_2$的IV估计；

• 我们也可以仅用$z_3$来作为$y_2$的估计，得到${\beta }_1$的IV估计量，记为${\breve{\beta }}_1$;
• 仅用$z_4$来作为$y_2$的估计，得到${\beta }_1$的IV估计量，记为${\tilde{\beta }}_1$;
• 如果所有$z$都是外生的，那么${\breve{\beta }}_1与{\tilde{\beta }}_1$都是${\beta }_1$的一致估计量；

总结 --过度识别约束检验

1. 用2SLS法估计结构方程，获得2SLS残差$\hat{u}$;
2. 将$\hat{u}$对所有外生变量回归，获得$R^2$,即$R_1^2$;
3. 在所有IV都与u不相关的原假设下，$n{R}_1^2\sim {\mathrm{X}}_q^2$,其中，q是模型之外的工具变量数目减去内生解释变量的总数目。如果$n{R}^2$超过了${\mathrm{X}}_q^2$分布中的临界值(如5%)，我们拒绝$H_0$,并推断出至少部分IV不是外生的；

职业女性的教育回报的例子

将2SLS应用于面板数据