ICLR 2020|反事实因果理论如何帮助深度学习？

以深度学习为代表的表示机器学习取得了巨大的成功，尤其是在特征提取的能力方面。但是与此同时，一个巨大的问题是深度神经网络的黑箱问题和不稳定性问题。其中的一个根本原因，是基于相关性的统计模型容易学习到数据中的“伪关系(spurious relation)”，而非因果关系，从而降低了泛化能力和对抗攻击的能力。

以深度学习为代表的表示机器学习取得了巨大的成功，尤其是在特征提取的能力方面。但是与此同时，一个巨大的问题是深度神经网络的黑箱问题和不稳定性问题。其中的一个根本原因，是基于相关性的统计模型容易学习到数据中的“伪关系(spurious relation)”，而非因果关系，从而降低了泛化能力和对抗攻击的能力。

一个潜在的方向，就是采用从90年代以来以Judea Pearl为代表的研究者们提出的因果推断理论来改进现有的表示学习技术。然而，因果分析框架和表示学习并非天生相容。因果分析通常是基于抽象的、高层次的统计特征来构建结构因果图；而表示学习则基于海量数据提取具体的、低层次的表示特征来辅助下游任务。为了结合这两者，MILA的Yoshua Bengio提出了System 2框架，Max Planck Institute的Bernhard Schölkopf提出的因果表示学习框架。这两者实际上的思考是一致的。

在本文中，我们将会讨论ICLR 2020上因果表示学习的2项有代表性的工作：如何利用因果理论中的反事实（counterfactual）框架来提高算法的稳定性和可解释性。

 

Learning the Difference That Makes A Difference with Counterfactually-Augmented Data

Code

近年来，深度学习在自然