迁移学习系列--领域泛化

迁移学习的核心就是通过减少源域和目标域之间的分布差异，进而利用源域信息完成目标域的学习。与领域自适应问题强调适配源域与目标域之间的数据分布相比，领域泛化更强调有源域学习到的模型可以泛化到任意新出现的领域。
领域自适应问题一般有一个目标域（或多个目标域），领域泛化问题没有这个要求，重点强调模型对任意未知的目标域都有一定的学习能力。
领域泛化的两种基础模型：
（1）将多个领域的数据合并并进行模型，得到一个共享模型
（2）每个领域训练一个独立的模型，采用集成思想对未知目标域进行预测
领域泛化常用方法：
1. 基于数据分布自适应的领域泛化方法
核心思想：将多个源域之间的分布差异在特定的空间中进行缩小，使学习到的模型具有强大的泛化能力。
2. 基于集成的领域泛化方法
基于集成的方法与基于数据分布自适应方法相比，它没有显示的处理数据域之间的分布差异，而是通过设计网络结构和训练方式，学习新数据与多个源数据的表征关系，进而达到泛化的目的。可以假设给定的N个源域可以近似构成表示所有数据域的基向量，也就是说任意的数据均可以有现有的基向量以一定的组合形式构成。很自然的解决办法是，在N个源域中分别训练一个独自的分类器，然后加权集合这些分类器。
3. 基于数据生成的领域泛化方法
（1）数据增强（旋转、平移、噪声等）
（2）对抗数据生成方法
4. 基于元学习的领域泛化方法
核心思想就是利用元学习的思想，将现有的训练数据按一定的规则分成任意多的任务，从而可以模仿元学习的训练方法，在元训练上训练，在元测试上测试。