【领域泛化】论文介绍《Domain generalization via multidomain discriminant analysis》

论文地址

http://proceedings.mlr.press/v115/hu20a/hu20a.pdf

摘要

在领域泛化(DG) 中，有一个很常见的假设，就是分布偏移只存在于边缘分布$P(X)$，即只发生先验偏移(Prior Shift)，没有发生概念偏移(Concept Shift)，条件分布（后验分布）$P(Y|X)$不同域是不变的，这就是为什么大多数DIR要对齐表示空间的边缘分布$P(X)$。

但从因果分析的角度来看，只有当$X$是$Y$的原因的时候，这种对齐才是有效的，但对于很多任务，特别是分类任务，$Y$通常是$X$的原因，本文正是这类研究对齐类条件$P(X|Y)$方法的典型，提出了$P(Y)$随着$P(X|Y)$一起变化情况下的领域泛化方法。

本文提出一种多域判别分析(MDA)，旨在最小化同类中不同域的的分歧，最大化类之间的可分离性，以及整体所有类的紧致性，来尝试进行更好的领域泛化。

核心思想

动机

如果$Y$是$X$的原因，那么$P(Y)$边缘分布和$P(X|Y)$条件分布会彼此“独立”，因为$P(X|Y)$不包含$P(Y)$的信息。但在跨域的情况下，$P(X|Y)$和$P(Y)$会耦合地发生变化。

本文提出一种方法，适用于$P(X|Y)$和$P(Y)$跨域变化的领域泛化任务，该方法关注类的可分离性，不强制对齐表征空间的边缘分布(DIRs类方法)，这样可以放松$P(Y)$稳定的约束(另一篇2018年论文的工作，本文在它的基础上放松了约束，更具有适用性)。

本文主要做出了两个贡献：

1. 提出一种新的度量方式——平均类差异，将该度量方式和其他三种度量统一到一个目标中进行学习。
2. 本文推导了在基于核的域不变特征学习变换方法中超额风险和泛化误差的界限，该贡献是在领域泛化中对超额风险提供理论支持的最早研究之一。（该部分并不是重点，日后有时间补上）

正则化约束

平均域差异

我们首先考虑最小化在所有域的每个类的类条件分布$P^s(X|Y=j)$的差异，对于m个域，c个类别，核均值嵌入${\mu }_j^s$表示$P^s(X|Y=j)$，$H$表示再生希尔伯特空间(RKHS)，平均域差异$L_{add}$的定义如下：
$$L_{add}=\frac{1}{C_2^m}\sum _{j=1}^c\sum _{1\le s\le s^{\prime }\le m}||{\mu }_j^{}$$