【领域泛化论文阅读】Generalizing to Unseen Domains: A Survey on Domain Generalization

        传统的机器学习是假设训练数据和测试数据独立同分布进行训练的，当训练数据和测试数据的分布不同，也就是域分布不同时，模型的性能将大大下降。而迁移学习是在训练数据和测试数据服从不同的数据的概率分布时，提高模型泛化能力的重要手段。迁移学习是利用数据、任务或模型之间的相似性，将在旧领域学习过的模型和知识应用于新的领域。迁移学习的核心就是要通过减小源域和目标域之间的分布差异，进而利用源域信息完成目标域的学习。领域泛化DG是迁移学习的子类，领域泛化的目标是从一个或多个不同的领域中学习模型，学到的模型可以很好地泛化在不可见的测试领域上。

        式(1.1)是DG的error bound。ε(h)是在目标领域上理想的risk，第一项是对每个源领域的risk的加权和，第二项中是γ令目标域分布和源域分布的组合之间距离最小的线性组合的系数，ρ是源域两两之间的最大距离，第三项是目标域和具有最佳近似分布的域的理想联合风险。

        论文将现有的领域泛化方法分为数据操作、特征学习、学习策略三类。

        数据操作：模型的泛化性能往往取决于训练数据的数量和多样性。在给定一个有限的训练数据集的情况下，为了增强模型的泛化能力，数据操作是最便宜、最简单的生成样本的方法之一。数据操作主要有两种技术，数据增强和数据生成。数据增强中的领域随机法通过改变物体的位置和纹理，改变物体的数量和形状，修改光照和相机视图，添加不同类型的随机噪声到数据中来生成数据。对抗数据增强是利用领域信息和标签信息来实现基于对抗数据增强的领域泛化。对抗数据生成是通过建模生成丰富多样的数据来增强模型的泛化能力。可以采用VAE，GAN，Mixup等方法生成数据。

        式(1.2)是数据操作的学习范式，x'= mani(x)，mani是数据操作的函数。

        特征学习：主要有两种技术，领域不变特征学习和特征解耦。领域不变特征学习的目标是减小多个源域在特定特征空间中的特征差异，达到域不变，从而使学习到的模型对不可见域具有可泛化能力，这主要有基于核方法，领域对抗学习，显式特征对齐，不变风险最小化这四个方法。特征解耦是将多个领域的特征分为公共部分和私有部分，迁移到新的领域上只是用公共特征，包括多组件分析、生成模型和因果关系启发方法。

        式(1.3)是特征学习的学习范式，g是特征学习函数。

        领域不变特征学习中的基于核方法是找到一个特征转换核，使所有数据在特征空间中的分布差异最小化，或者最大限度地减少同一类、同一域的表示的差异，最大限度地增加不同类、不同域的表示的差异。领域对抗学习是对生成器和鉴别器进行对抗训练。训练鉴别器来区分域，同时训练生成器欺骗鉴别器来学习域不变特征表示。显式特征对齐是通过显式特征分布对齐或特征归一化对源域的特征进行对齐，以学习域不变表示。不变风险最小化是学习最优的分类器匹配所有的域分布。特征解耦中的多组件分析是使用领域共享和领域特定的网络参数提取领域共享和领域特定的特征。生成模型是使用VAE等生成模型对特征解耦。因果关系启发方法利用因果关系进行领域适应。

        学习策略包括集成学习，元学习，梯度运算，分布鲁棒性优化，自监督等。集成学习是针对每个数据领域都训练一个该领域的模型，则任意一个样本均可以被视为现有的N个领域模型的集成特征。元学习是将多源域的数据划分为元训练和元测试集来模拟领域偏移。梯度学习使用梯度信息来迫使网络学习泛化表示。这样可以迫使网络从更多的坏情况中学习，提高泛化能力。分布式鲁棒优化是学习最坏情况分布情景下的模型，希望它能很好地泛化到测试数据中。自监督是采用自监督方法来学习泛化特征。

        论文中也提出了一些未来研究的挑战。包括连续域泛化，领域泛化到新类别，可说明的域泛化，大规模的预训练和域泛化等。通过连续的域泛化有效地更新DG模型，可以克服灾难性遗忘，适应新的数据。现有的DG算法通常假设不同域的标签空间是相同的，一个更通用的设置是支持对新类别的泛化，即领域和任务泛化。

 参考文献：

1. Wang J, Lan C, Liu C, et al. Generalizing to unseen domains: A survey on domain generalization[J]. arXiv preprint arXiv:2103.03097, 2021.