Learning to Generate Novel Domains for Domain Generalization （ECCV2020) 阅读笔记

介绍

• domain shift: 通常情况下，机器学习模型在部署在与训练数据不同的数据分布的测试数据上时表现不佳。
• UDA利用未标记的目标域数据进行模型适应，需要数据收集以及每个领域的模型更新，同时，UDA关于目标数据可以提前收集的假设在实践中并不总是满足。
• DG方法旨在学习能够很好地泛化到不可见的目标域的模型，而不需要收集数据或更新模型。专注于对齐源域而不访问目标数据。
• 领域对齐：通过最小化领域之间的差异来学习一个领域不变的表示，可能对源域过度拟合
• 元学习：通过将训练数据分成具有非重叠领域的元训练集和元测试集来模拟领域转移。在学习过程中，模型在元训练域中被优化，以减少元测试域的误差。然而，与基于对齐的方法类似，元学习优化了减少源域之间的领域差距，因此仍有对所见域过度拟合的风险。
• 作者采用一个数据生成器来合成来自伪新域的数据，以增加源域的内容。为了训练生成器，使用最优传输对源域和合成的伪新域之间的分布分歧进行建模，并使分歧最大化（将源域和伪新域之间的距离最大化）。为了确保语义在合成的数据中得到保留，进一步对生成器施加了循环一致性和分类损失。
• 作者的方法：学习一个完整的CNN生成器，将源图像映射到未见过的领域，并通过基于OT的分布分歧进行优化，使其成为与源分布不同的新域。

方法

公式1：域平移函数，通过对新的领域标签进行调节来学习一个条件生成器。

公式2：目标函数，通过从源域随机抽取一个小批量来转换为一个随机选择的新域，使新的分布尽可能与源分布不相似，从而创建新的域来增强现有的源域。

公式3：除了最大化源分布和新分布之间的差异外，还最大化生成的新分布之间的差异。

公式4：对生成器应用一个循环一致性约束来保证结构的一致性。

公式5：通过将生成的数据和原始数据归入同一类别来实现语义一致性。

公式6：生成器的训练

公式7：任务模型的训练

生成器模型由两个跨度为2的下采样卷积层、两个残差块和两个跨度为2的转置卷积层组成，用于上采样。

实验

总结

作者提出了L2A-OT，一种新型的基于数据增强的DG方法，通过学习通过条件生成器网络合成来自不同未见领域的图像，提高了分类器对领域转移的鲁棒性。生成器是通过最大化源域和伪新域之间的OT距离来训练的。循环一致性和分类损失被强加在生成器上，以进一步保持领域翻译过程中的结构和语义一致性。