Open Domain Generalization with Domain-Augmented Meta-Learning (CVPR2021) 阅读笔记

介绍

• OpenDG: 从不同的源域学习，在未知域上实现高性能，其中每个单源域和目标域的分布和标签可能不同。
• 作者提出了一个领域增强的元学习框架来学习开放领域的可泛化表征，通过一个新的Dirichlet mixup在特征层面上增加领域，通过提炼的软标签在标签层面上增加领域，软标签用缺失的类和其他领域知识来补充每个领域。
• 为了缩小不同源域之间的领域差距，作者通过元学习来学习跨域的通用表征来避免分布匹配。
  
  

方法

算法1：通过在增强的领域中进行元学习来学习可泛化的表征。
增强域：作者观察到：不同的领域有不同的分布，从而有不同的标签集，这意味着每个领域都包含不同的知识，但缺乏其他领域的知识和类知识。基于此，作者设计了领域增强来解决OpenDG问题，同时进行特征级和标签级的增强。提出Dirichlet Mixup方法用于特征级的增强，通过与多个领域的混合来增强每个领域。对于标签级的增强，通过从其他领域的模型中提炼出软标签来增强每个领域。所提出的领域增强增加了数据的多样性，并通过缺少特征和类别的知识来补偿每个领域。

作者设计了学习框架来学习可泛化的表征，同时保留了每个领域的独特信息并聚合了所有领域的知识。。因此，不是为所有源域采用一个共享网络，而只嵌入了领域通用的知识。

公式1：元训练损失

公式2：元目标定义

图3：原来的mixup被定义为混合两个样本。当应用于具有多个源域的开放域泛化时，混合样本只从成对的域中产生。

实验