探讨计量经济学与机器学习

一、计量经济学与机器学习的联系和区别：

共通之处在于二者所使用的“原材料”和任务的形式的高度相似性。简单来说，两类方法的最终输入都是结构化数据。你有一个因变量，有一堆自变量，有好多的个案。最后的目的都是对自变量进行一通操作来去“近似”这个因变量。

区别在于使用两类方法的根本目的是不一样的。使用计量经济学方法目的是进行结构分析，也就是说我们最后是想知道哪些自变量会对因变量产生影响，影响有多大；只关注变量的系数和显著性。与之不同，使用机器学习方法的目的就是用一大堆自变量去预测因变量。更关注预测的准确度。

计量经济学模型是可解释的，机器学习算法是不可解释的。计量经济学模型清清楚楚明明白白，在大多数情况下我们从数学关系上就能够明白某个自变量对因变量的影响到底是怎样的、影响有多大；机器学习算法为了提升预测性能而主动放弃了被解释的能力，比如说模型里会被加入许多的变量的高阶项、乘积项，或者对变量进行一些非线性的转换，或者是降维。最后的确成功把因变量预测出来了，但是哪些变量起了多大作用已经说不清楚了，或者说也没必要弄清楚。

机器学习可以面对更复杂的数据结构，但难以得到背后的经济解释。

二、怎样将机器学习算法/思想融入因果推断

1. 使用机器学习方法进行变量挑选

在计量经济学模型中我们所关注的是解释变量的系数和显著性，出于各种目的也会加入一些控制变量。即使加入的控制变量是无关变量（与因变量无关的），解释变量的系数也不会受到影响，但还是会带来模型精度下降等问题，所以我们仍希望避免引入无关变量。如果候选变量数量众多，比如有成百上千个（这在大数据时代下并不是稀奇的事），我们就可以用机器学习中的一些方法来对变量进行挑选，例如LASSO回归、岭回归等。

类似地，在使用工具变量（IV）或者做匹配（matching）的时候，我们也可以用这种方法来从成百上千个变量中挑选出合适的变量。

2. 使用机器学习方法对反事实结果进行预测

这一类思路是极其有趣且实用的。反事实框架是因果推断的基础框架。当我们想要研究一件发生了的事情所带来的影响时，总会希望知道如果它没有发生那么之后情况会是怎样。换个角度一想，这其实可以被转化为机器学习中的预测问题。我们无非就是在给定一些条件的情况下预测出某个变量的取值。

匹配（matching）其实也是一种预测思想，所以用机器学习的方法或许能够实现得更好。如果我们使用机器学习方法，用大量的特征预测A个体会接受treatment，但实际上他/她并未接受，那这就说明一定是有一些很外生的因素导致它没有接受treatment，这样的匹配是非常理想的。

3. 借助机器学习实现异质性因果效应分析

异质性因果效应是指某个事件对样本中的不同类型个体产生了不同大小或者不同方向的因果效应。例如，在周末补课对某些学生的成绩提高是有作用的，但对其他学生未必有用，并且作用的大小也不同。传统计量经济学一般怎么来研究异质性因果效应呢？基本上无非是用分组或者引入交互项两种方式。这里存在的第一个问题是，如果我们想研究每一个协变量对因果效应产生的影响，岂不是要做许多次分组回归或者引入许多次交互项？这在变量数量较多的时候是很难进行操作的。第二个问题是，对于连续变量如何进行合理地分组？

这两个主要问题在机器学习方法中都已经有较好的解决思路。解决前者的思路对应着机器学习中的一些基于bootstrap等抽样思想的集成学习算法，例如随机森林；后者则更加简单，可以直接被对应到决策树问题上去。

4. 引入对于模型过拟合、泛化能力的思考

由于机器学习的根本目的在于预测，因此模型是否过拟合、泛化能力强弱是重要的评价因素。但在计量经济学中竟然没有对称的概念或者思想。计量经济学模型总是喜欢更大的样本，一个重要原因是它们要用这个样本的数据来探索某个解释变量对因变量的影响，所以需要样本具有较好的代表性。机器学习算法同样偏好大样本，但同时它们会使用划分训练集和测试集、进行交叉验证等方法来直接考察算法的泛化能力。这也是计量经济学可以借鉴的元素。