【域适应论文八】2022 Transferable feature filtration network for multi-sourcedomain adaptation.

1. motivation

现有的基于对抗性的域自适应方法通过欺骗鉴别器来实现域分布的混淆和表征的跨域对齐。然而，传统的方法忽略了不同特征之间可转移性的区别，导致不可转移的域变化特征，例如从背景中提取的特征，也被迫在域之间对齐。为此，本文提出了一种特征过滤机制，并设计了相应的神经网络，实现了基于特征可转移性的选择性特征对齐;这被称为可转移特征过滤网络(TFFN)。本文构建了一个可转移特征学习框架，该框架包含两个子过程:过滤，其中基于注意机制的过滤网络在额外的监督下自动提取可转移特征;修复，建议通过使用关注目标知识的额外分类器对过滤网络进行修复来增强过滤网络的适应性。此外，为了促进源和目标分布在类水平上的匹配，提出了过滤一致性损失来增强过滤权值的跨域一致性。在MSDA基准数据集上进行的大量实验表明，该方法与现有方法相比具有显著的优势。

在本文中，设计了一种包含注意力的特征过滤机制，并创新地为传统的对抗方法构建了一种新的网络架构，称为可转移特征过滤网络(TFFN)。具体来说，该框架配备了一个专门设计的两阶段训练过程，包括过滤和修复两个阶段，这促使过滤网络在分类器的监督下，通过在两个阶段之间交替训练，捕捉高度可转移的特征，过滤掉不可转移的特征。因此，鼓励域鉴别器关注可转移特征的对齐，这是有价值的，因为在很大程度上减轻了源域之间的域转移。在修复阶段，提出增强过滤网络的适应性，即确保过滤网络的修复不仅受到源分类器的监督，而且与目标域同样兼容。受模仿学习方法的启发[23-25]，采用了一个额外的目标域分类器，该分类器与源分类器构成师生结构(TS)，能够提供更完整的监督并增强对过滤网络的适应性。此外，为了确保过滤特征在类级别上的可转移性，引入了基于注意力和伪标签的过滤一致性损失。

本文贡献如下:

• 对于MSDA场景，提出了一种新的特征过滤机制，该机制利用注意力，改进了传统的对抗方法，并探索了使用特征过滤网络提取可转移特征的可行性。
• 为了让鉴别器在一个完善的过滤网络的约束下运行，创造性地设计并纳入了一个两阶段的训练过程，将整个训练过程分为两个子过程，过滤和修复。据所知，本文是第一个使用分离特征对齐和图像分类的两阶段训练来利用特征的可转移性的。
• 为了确保TFFN同时受到源域和目标域的监督，另外采用了一个基于模仿学习的目标样本专用分类器，并验证了该TS结构在增强过滤网络在目标域的适应性方面的有效性。
• 此外，提出了在伪标签的帮助下过滤一致性损失，建议对特定类别增强过滤网络的跨域一致性。
• 在MSDA基准数据集上进行了大量的实验，实验结果表明，TFFN大大优于现有的方法。

2. Method

2.1. Problem formulation

在MSDA中，带注释的源样本来自多个域。M个源域用S = {Sm}M M =1表示，目标域用T表示。对于每个源域，用{(xSm i, ySm i)}NSm i=1和ySm i∈{1,2，…表示收集到的数据及其相应的真值标签。K}，其中N Sm为源域Sm的样本数，K为源域和目标域共享的类数。同样，采集到的目标样本用{xT i}NT i=1表示，其中NT为目标域T中的样本个数。

2.2. 可转移特征过滤网络

事实上，并不是嵌入向量中的每个特征值都对特定的任务有益。在对抗性学习的情况下，为了更容易地实现源样本和目标样本的区分，鉴别器可能会合并弱可转移特征或不可转移特征，如将图像背景，纳入判别标准。这表明鉴别器倾向于对齐这些域变化特征，并且源特征的可判别性可以通过监督损失来保证，而目标特征则不能幸免。因此，应该采取措施减少这些特征值对域鉴别器的负面影响。

在此之前，Wang等