2022稳定学习年度研究进展系列报告丨精华观点总结

近年来，在独立分布假设的前提下，机器学习模型的表现越来越好。但在实际应用场景中，数据本身却具有很强的异质性和差异性，这就对模型的泛化能力产生了较高的要求。为了解决分布外泛化问题，稳定学习应运而生。12月28日，智源《稳定学习年度研究进展》系列报告在线上展开，本次报告邀请了崔鹏、禹含、林勇、何玥、刘家硕、张奇、陈瀚雄、王啸、张兴璇9位学者，就稳定学习（Stable Learning）这个话题，给出了精彩的报告。

（整理/牛梦琳）

本期是一年一度的《稳定学习年度研究进展》系列报告，由清华大学崔鹏教授主持。崔鹏首先介绍了本次报告的背景并总结了2022年一年来学者们在稳定学习方向整体的思考，由清华和香港科技大学的四位博士生给出了相关方法论的研究进展，来自复旦，meta，北航和清华的四位学者则是聚焦稳定学习在NLP，Graph，RS，CV方向的前沿应用工作，对年度工作进展做出了总结。智源社区将公开部分精华内容整理如下：

关于分布外泛化和稳定学习的一些思考

清华大学教授 崔鹏

稳定学习针对的是机器学习的基础问题——Out of Distribution（OOD，分布外泛化）问题。在机器学期的基本范式中，存在基本的独立性假设，即Ptest=Ptrain，但在实际应用中，这个假设很难得到保证，此时就会产生OOD问题。OOD问题可以分为Ptest部分已知和Ptest完全未知两种情况，在真实开放的场景应用中，大部分似乎Ptest都是完全未知的。

为了解决这个问题，稳定学习将原本基于假设的Data Fitting 思路，转变为了Finding Invariance （寻找不变性）思路，来寻找不随环境数据变化的最稳定的结构。目前，稳定学习的大致研究路径有两条：一条是找到比不变性更强的结构来保证不变性：根据Peter Bühlmann提出的统计学方式图，很多人认为从统计的角度讲，Causal是最本质的一种结构，如果将Causal的思想融入机器学习的研究，是否可以解决部分机器学习的稳定性问题。

沿着这个思路，学者们从17年开始研究Machine Learning和Causal Inference之间的交叉关系，稳定学习就是在机器学习的框架下，注入一些Causal Inference的底层思想。今年，崔鹏教授和斯坦福大学的教授Susan Athey一起发表了《Stable learning establishes some common ground between causal inference and machine learning》，对稳定学习的提出和思路做了一个总结性的描述。另一条路径是从变化中寻找不变性（Finding invariance from variance），即根据数据中的异质性寻找数据的不变性。

2022年，学者们对稳定学习有了一些新的思考。比如关于稳定学习的定位问题：稳定学习应该针对OOD问题，输入单独的训练分布，应用多种测试分布，并以稳定性表现为优化目标。由此，很多课题组正在试图解决一些开放性问题，

最后，针对稳定学习的一些外延问题，崔鹏分享了两个观点：

一、无论是大模型还是OOD Generalization的学习机制，都是为了更好地解决真实、开放环境下的实际问题所探索出的技术路径，二者并不冲突；在OOD Generalizat