本文汇总了2021年多篇顶会论文，探讨了OOD（Out-of-Distribution）泛化的理论框架、新方法和讨论。文章分析了泛化误差、模型选择策略、特征不变性和信息量对泛化能力的影响，提出了新的模型选择策略，如考虑验证精度和变化量。此外，还介绍了基于因果匹配和环境推断的域泛化方法，以及通过减少风格偏置提升模型泛化的SagNet。这些研究为理解模型在未知领域的表现提供了新视角。
©PaperWeekly 原创 · 作者 | 张一帆
学校 | 华南理工大学本科生
研究方向 | CV，Causality
arXiv 2021
论文标题：
Towards a Theoretical Framework of Out-of-Distribution Generalization
论文链接：
https://arxiv.org/abs/2106.04496
这篇文章应该是今年投稿 NeurIPS 的文章，文章贡献有两点：
在 OOD 泛化受到极大关注的今天，一个合适的理论框架是非常难得的，就像 DA 的泛化误差一样；
本文通过泛化误差提出了模型选择策略，不单纯使用验证集的精度，二十同时考虑验证集的精度和在各个 domain 验证精度的方差。
1.1 Preliminary
先来看一看 OOD 经典的问题建模，考虑一个多分类问题 。用 表示可见的训练集，以及所有集合。 表示输入-标签组，OOD 泛化问题就是要找一个分类器 来最小化 worst-domain loss：
这里的 是假设空间， 是损失函数。 同样可以分解为 ，即分类器和特征提取器。 可以写为：
是一个标量的特征映射， 是预设的特征维度。下文将 简写为 。
1.2 Framework of OOD Generalization Problem
对 OOD 问题的分析难点在于如何构建 和 之间的联系，以及域泛化和二者联系之间的联系。接下来我们就一步步的看看这篇文章是如何进行构建的。
作者先介绍了两个定义：特征的 “variation（变化）”和 “informativeness（信息量）”。前者是一个类似于 divergence 的概念，我们希望对同一个 label，在各个域上的特征变化不大。后者表示了这个特征要有足够的表示能力，包含了区分各个标签的能力。
Variation：给定如下定义，如果一个特征满足 ，那么我们说他是是
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
