©PaperWeekly 原创 · 作者 | 张一帆
学校 | 华南理工大学本科生
研究方向 | CV,Causality
arXiv 2021
论文标题:
Towards a Theoretical Framework of Out-of-Distribution Generalization
论文链接:
https://arxiv.org/abs/2106.04496
这篇文章应该是今年投稿 NeurIPS 的文章,文章贡献有两点:
在 OOD 泛化受到极大关注的今天,一个合适的理论框架是非常难得的,就像 DA 的泛化误差一样;
本文通过泛化误差提出了模型选择策略,不单纯使用验证集的精度,二十同时考虑验证集的精度和在各个 domain 验证精度的方差。
1.1 Preliminary
先来看一看 OOD 经典的问题建模,考虑一个多分类问题 。用 表示可见的训练集,以及所有集合。 表示输入-标签组,OOD 泛化问题就是要找一个分类器 来最小化 worst-domain loss:
这里的 是假设空间, 是损失函数。 同样可以分解为 ,即分类器和特征提取器。 可以写为:
是一个标量的特征映射, 是预设的特征维度。下文将 简写为 。
1.2 Framework of OOD Generalization Problem
对 OOD 问题的分析难点在于如何构建 和 之间的联系,以及域泛化和二者联系之间的联系。接下来我们就一步步的看看这篇文章是如何进行构建的。
作者先介绍了两个定义:特征的 “variation(变化)”和 “informativeness(信息量)”。前者是一个类似于 divergence 的概念,我们希望对同一个 label,在各个域上的特征变化不大。后者表示了这个特征要有足够的表示能力,包含了区分各个标签的能力。
Variation:给定如下定义,如果一个特征满足 ,那么我们说他是是