工具变量&两阶段最小二乘

qq_26430933

已于 2022-01-25 15:02:55 修改

阅读量1.7k

点赞数 2

分类专栏：因果推断文章标签：概率论机器学习

于 2022-01-15 22:11:50 首次发布

本文链接：https://blog.csdn.net/qq_26430933/article/details/122516927

版权

因果推断专栏收录该内容

7 篇文章 6 订阅

订阅专栏

1.为什么要用工具变量

解决内生性问题，自变量 $x_1$ 与残差 $\mu$ 相关，即 $COV(x_1,\mu) \neq 0$
$\beta_0+\beta_1x_1+\mu$
$x_1$ 变化时，随机扰动项也会变化，导致估计值 $\hat{\beta_1}$ 偏离真实值
$\frac {\Delta y} {\Delta x+\Delta \mu}=\beta_1$

2.什么是工具变量

变量 $Z$ 成为自变量 $X$ 的有效工具变量需满足2个条件：

相关性：工具变量与内生变量相关 $\neq 0$
外生性：工具变量外生 $COV(Z,\mu) = 0$

3.为什么工具变量能解决内生性问题

一阶段回归： $X_1 = \beta_{10}+\beta_1Z_1+\mu_1 \tag{1}$

代入Y与X关系式： $Y_1 = \beta_{20}+\beta_2X_1+\mu_2 \tag{2}$

得到简约式回归：
$Y_1 = (\beta_{20}+\beta_2\beta_{10})+\beta_1\beta_2Z_1+(\beta_2\mu_1+\mu_2) \tag{3}$

虽然 $COV(X_1,\mu_2) \neq 0$ ，但是由一阶段回归可以得出： $COV(Z_1,\mu_1) = 0$ ，由工具变量的定义得出： $COV(Z_1,\mu_2) = 0$ ，因此公式3中 $Z_1$ 与随机扰动项 $\beta_2\mu_1+\mu_2$ 不相关，满足线性回归基本假设。

由公式1得出 ${\beta_1}$ ，公式3得出 ${\beta_1}{\beta_2}$ ，最终得到无偏估计量 ${\hat \beta_2}$

在只有一个工具变量和一个内生变量时，以上简约式的结果等价于最小二乘法：
一阶段回归： $X_1 = \beta_{10}+\beta_1Z_1+\mu_1 \tag{1}$
二阶段回归， $X_1$ 与 $\mu_2$ 相关，与 $\beta_2\mu_1$ 不相关， $\hat X_1$ 与 $\mu_2$ 、 $\beta_2\mu_1$ 均不相关：
$Y_1 = \beta_{20}+\beta_2 \hat X_1+\mu_2 = \beta_{20}+\beta_2 X_1+(\mu_2 - \beta_2\mu_1) \tag{2}$
Y与X关系式：
$Y_1 = \beta_{20}+\beta_2X_1+\mu_2 = \beta_{20}+\beta_2 \hat X_1+(\mu_2+\beta_2(X_1-\hat X_1)) \tag{2}$
由于 $\hat X_1$ 与残差 $X_1-\hat X_1$ 不相关，且 $COV(\hat X_1,\mu_2)=COV(\beta_{10}+\beta_1Z_1)=COV(\beta_{10},\mu_2)+COV(\beta_1Z_1,\mu_2)=0$ ，因此在只有一个工具变量和一个内生变量时，简约式的结果等价于最小二乘法，最终均能得到无偏估计量 ${\hat \beta_2}$

如果为内生变量找到多个工具变量：
一阶段回归： $X_1 = \pi_{10}+\pi_1Z_1++\pi_2Z_2+\omega_1$

根据最小二乘法的原理， $\hat X_1$ 是 $Z_1$ 与 $Z_2$ 中信息的最优线性组合，再将 $\hat X_1$ 代入2式，得到无偏估计量 ${\hat \beta_2}$
需要特别说明的是两阶段回归的标准误差 $\mu_2 = Y_1-\hat X_1 \hat \beta_2$ 是错误的，正确的标准误差是 $\mu_2 = Y_1-X_1 \hat \beta_2$

4.工具变量通俗解释

工具变量相当于一个过滤器，把 $X_1$ 分成两部分，第一部分和 $Z_1$ 有关(即 $\hat X_1$ )，第二部分和 $Z_1$ 无关(即 $\mu_1$ )。由于 $Z_1$ 与 $\mu_2$ 无关，第一部分自然也和 $\mu_2$ 无关，第二部分是要过滤掉的渣子： $X_1$ 中包含的和 $\mu_2$ 有关的东西