【领域泛化】论文介绍《Learning to balance specificity and invariance for in and out of domain generalization》

论文地址

https://arxiv.org/pdf/2008.12839.pdf

摘要

在本文发表前，大多数成熟的领域泛化方法专注于学习跨所有源域不变表示的存在(DIRs方法为主)，然而，通常单个域包含独特的特征(类似域内特有信息的说法)，利用这些信息，能显著提升任务的性能。

本文提出一种用于泛化的领域特定编码(DMG:Domain-specic Masks for Generalization) 的方法，鼓励掩码学习领域不变特征和领域特定特征之间的平衡。

核心思想

动机

随着训练数据的增加，在目标域会出现至少一些数据与某些或多个源域非常相似，如果只保留DIRs之外的领域信息会帮助决策。

当然，只有在其他可用源域的上下文中，才能判断数据与该该源域的相似性，如何保留“不变性”(领域不变特征)来维持泛化性能，同时吸收“特定性”(领域特定特征)，本文提出一种自动学习平衡领域不变特征和领域特定特征的算法，以期获得最大的性能提升。

将平衡特征选择问题转化为在特征上学习特定的二元编码，具体来说，就是每层神经元关联领域特定的掩码参数，这些参数决定是否激活或关闭神经元，通过反向传播来学习这些参数，同时为了鼓励所选特征的领域专一性，队来自不同源域的掩码的重叠进行惩罚，实际工作时，对各个源域的掩码的预测结果取平均。

DMG方法

左图是标准的监督学习方法，中间图是从掩码分布中从对应的掩码参数分布中采样一个掩码，加入到任务学习中，右图是掩码作用的方式，二进制掩码与神经元参数进行点乘，再传递到下一层网络。

通过领域特征编码的特征选择

对于$p$个源域，初始化$m^d$作为所需的编码，可以看做控制门，决定开启或关闭哪些神经元。

具体来说，对于$L$层的$k$个神经元，对于每个源域的掩码参数${\tilde{m}}^d$，通过sigmoid激活得到掩码概率$m^d$，然后，从掩码概率$m^d$给出的伯努利分布中采样二进制掩码$m^{d_i}$，该二进制掩码与神经元点乘，类似于dropout。

训练的时候只针对该域所对应的掩码进行训练，在测试阶段取不同领域的平均值，类似继承学习的思想。

激励领域特异性

为确保源域捕获特定于源域的特征，本文引入了软重叠损失，计算Jaccard相似度(也称作IOU评分)，提出sIoU损失：
$$L_{sIoU}(m^{d_i},m^{d_j})=\frac{m^{d_i}\ast m^{d_j}}{{\sum }_{a,b\le k}{m}^{d_i}+m^{d_j}-m^{d_i}\ast m^{d_j}}$$

代码实现

未完成

论文引用

Chattopadhyay P, Balaji Y, Hoffman J. Learning to balance specificity and invariance for in and out of domain generalization[C]//European Conference on Computer Vision. Springer, Cham, 2020: 301-318.