《因果科学周刊》第6期：领域自适应

为了帮助大家更好地了解因果科学的最新科研进展和资讯，我们因果科学社区团队本周整理了第6期《因果科学周刊》，推送近期因果科学值得关注的论文和资讯信息。本期的主题是”领域自适应“。

本期作者：刘珈麟 许雄锐 赵江杰 陈晗曦 袁蕾 方文毅 杨二茶 龚鹤扬 宫明明

当前机器学习研究的一个重点，是算法的鲁棒性和泛化能力。已有模型均假设训练数据和测试数据独立同分布（IID），实际应用很难满足。更常见的情况是，训练数据和算法部署场景的数据之间存在一定因果关联，对此，Bernhard Scholkopf曾举例：海拔是影响气温的重要因素，不同地区的海拔不同（即目标先验知识发生改变），但海拔对气温的影响机制几乎相同（即条件概率分布相同，或因果机制不变）。天下没有免费的午餐（No Free Launch Theorem），对于如何寻找更合理的假设来代替IID的强假设，因果科学为我们提供了值得借鉴的思路。在第五期的周刊当中，我们介绍了两种解决OOD的方式（利用因果图信息，利用表示学习，stable learning是这两种思路的融合），以及 Y. Bengio 在尝试的元学习思路。本期周刊为大家带来，由墨尔本大学宫明明老师推荐的六篇关于因果与领域自适应相结合的文章。严格范畴的 OOD 问题要求我们不对测试数据的分布做任何假设，相对于从第五期周刊介绍的有关 从 IID 到 OOD 的内容，领域自适应关注算法在测试集上的表现，经常对测试分布如何变化做出了一些假定，例如目标偏移，条件偏移和广义目标偏移。本期周刊推荐的六篇文章探讨了这三种问题，希望能激发相关研究人员进一步的思考。

1）Zhang, Kun, et al. "Domain adaptation under target and conditional shift." International Conference on Machine Learning. 2013.

2）Gong, Mingming, et al. "Domain adaptation with conditional transferable components." International conference on machine learning. 2016.

3）Guo, Jiaxian, et al. "Ltf: A label transformation framework for correcting target shift." ICML, 2020.

4）Teshima, Takeshi, Issei Sato, and Masashi Sugiyama. "Few-shot Domain Adaptation by Causal Mechanism Transfer." arXiv preprint arXiv:2002.03497 (2020).

5）Magliacane, Sara, et al. "Domain adaptation by using causal inference to predict invariant conditional distributions." Advances in Neural Information Processing Systems. 2018.

6）Zhang, Kun, et al. "Domain adaptation as a problem of inference on graphical models." Advances in Neural Information Processing Systems 33 (2020).

1. 论文翻译和解读

我们推荐的6篇论文根据因果模型是否已知可以分为两大类，前4篇是在因果模型已知的条件下，其中前3篇文章探讨了在因果图已知的情况下，领域自适应问题的基本框架，广义目标偏移和表示学习相结合的目标偏移问题，第4篇论文则利用到了J.Pearl的结构因果方程SCM来帮助领域自适应；第5、6篇论文则属于因果模型未知的情况。

1.1 因果模型已知

Zhang, Kun, et al. "Domain adaptation under target and conditional shift." International Conference on Machine Learning. 2013.

摘要：用X表示特征，Y表示目标，本文研究以下以下三种情况的领域自适应问题：（1）目标偏移，边缘概率改变，条件概率