《因果科学周刊》第5期：OOD 泛化

为了帮助大家更好地了解因果科学的最新科研进展和资讯，我们因果科学社区团队本周整理了第5期《因果科学周刊》，推送近期因果科学值得关注的论文和资讯信息。本期的主题是”OOD 泛化“，另外在“近期社区活动”专栏，我们将介绍清华副教授崔鹏在 NeurIPS 2020中国预讲会上，所作主题报告「稳定学习：发掘因果推理和机器学习的共同基础」中的精彩观点。

本期作者：闫和东 许雄锐 陈天豪 杨二茶 龚鹤扬 张天健 方文毅 郭若城

1. OOD 泛化简介

Out-of-distribution(OOD) 泛化是一种 Systemactic 泛化，很多人对 OOD 问题的关注是从 Bengio 开始的，传统上一些做法是认为OOD=Novelty Detection=Outlier Detection，但是本文完全不讨论 OOD detection 相关内容.

图1：Bengio 目前第一的研究兴趣

Bengio 表示传统机器学习一半是基于独立同分布(IID)的数据分布假设，但实际现状是很多真实场景下我们感兴趣的数据往往是出现次数非常少的数据，也就是我们在处理时需要关注更多的是 OOD，也就是在数据中出现较少的分布，这需要我们在机器学习算法中有新的数据假设。尤其是从 Agent 的角度来考虑，考虑哪些是影响数据分布变化的因素，以及不同分布的可组合性等很重要。

图2：从 IID 到 OOD (Bengio)

元学习（学习学习的模型）是可能实现机器学习到 OOD 和模型快速迁移的一个办法。说到 OOD，究其原因是有行为的变化，或者是用户行为对于数据的干预。元学习的知识表示，e.g. 变量之间的因果结构， 可以有效帮助 OOD 泛化，这里的挑战是如何学习到未知干预变量的因果知识。

作为因果结合机器学习的一个具体方向，下面是我们邀请亚利桑那州立大学在读博士郭若城推荐的6 篇 Causal + OOD 论文：

1. Peters, Jonas, Peter Bühlmann, and Nicolai     Meinshausen. "Causal inference using invariant prediction:     identification and confidence intervals." arXiv preprint arXiv:1501.01332 (2015).

2. Rothenhäusler, Dominik, Nicolai Meinshausen, Peter     Bühlmann, and Jonas Peters. "Anchor regression: heterogeneous data     meets causality." arXiv     preprint arXiv:1801.06229 (2018).

3. Rojas-Carulla, Mateo, Bernhard Schölkopf, Richard     Turner, and Jonas Peters. "Invariant models for causal transfer     learning." The Journal of     Machine Learning Research 19, no. 1 (2018): 1309-1342.

4. Arjovsky, Martin, Léon Bottou, Ishaan Gulrajani, and     David Lopez-Paz. "Invariant risk minimization." arXiv preprint arXiv:1907.02893     (2019).

5. Krueger, David, Ethan Caballero, Joern-Henrik Jacobsen,     Amy Zhang, Jonathan Binas, Remi Le Priol, and Aaron Courville.     "Out-of-distribution generalization via risk extrapolation     (rex)." arXiv preprint     arXiv:2003.00688 (2020).

6. Ahuja, Kartik, Karthikeyan Shanmugam, Kush Varshney,     and Amit Dhurandhar. "Invariant risk minimization games." ICML     2020.

2. 崔鹏谈 OOD 

崔鹏是清华大学计算机科学与技术系副教授，主要研究方向是