Domain-Symmetric Networks for Adversarial Domain Adaptation论文翻译

Domain-Symmetric Networks for Adversarial Domain Adaptation

Abstract（摘要）

无监督域自适应旨在为目标域上的未标记样本提供分类器模型，并提供源域上标记样本的训练数据。最近，通过深度网络的领域对抗训练学习不变特征，取得了令人印象深刻的进步。尽管最近取得了进展，但是领域自适应在实现更好的类别级别的特征分布不变性方面仍然受到限制。为此，我们在本文中提出了一种新的域自适应方法，称为DomainSymmetric Networks（SymNets）。提议的SymNet基于源和目标任务分类器的对称设计，在此基础上，我们还构造了与其共享层神经元的附加分类器。为了训练SymNet，我们提出了一种新颖的对抗学习目标，其关键设计基于两级域混淆方案，通过推动中间网络特征的学习，类别级混淆损失比域级混淆损失有所改善。两个域的相应类别不变。基于构造的附加分类器来实现域区分和域混淆。由于目标样本未标记，因此我们还提出了一种跨域训练方案，以帮助学习目标分类器。仔细的消融研究显示了我们提出的方法的功效。特别是，基于常用的基础网络，我们的SymNets在三个基准域适应数据集上达到了最新水平。

Introduction（介绍）

深度学习方法在各种机器学习任务中都取得了巨大的成功。 要取得成功，一个常见的先决条件是要获得大量带注释的训练数据。 但是，对于许多其他任务，这些培训数据要么难以收集，要么难以负担地注释它们的成本。 因此，为了解决某些目标任务/域上带注释的数据的稀缺性，人们有很强的动机通过迁移学习或域自适应的方式来利用相关源数据上大量可用的带注释的数据[17]。 不幸的是，这种吸引人的学习范式遭受领域转移问题的困扰[8]，这是使源领域的学习模型适用于目标领域的主要障碍。

领域适应旨在获得对目标数据具有较小风险的模型。 理论分析[2]认为，可以通过将模型风险限制在源数据上以及两个域的分布之间存在差异来将此类目标风险降到最低，这激发了许多现有方法[28，31，11，32， 25，3，4，26，27,10，19]。 在现有方法中，基于深度网络的域对抗训练的方法[3，4]在许多基准域适应数据集[21，1，29]上达到了当前的水平。 受生成对抗网络[6]的启发，领域对抗训练通常会玩一个minimax游戏来学习领域区分器（旨在区分源样本特征与目标样本特征）和特征提取器（旨在学习领域不变性） 功能表示法，以使域识别符混淆。 当minimax优化达到平衡时，将期望域对齐。
In spite of the remarkable empirical results achieved by domain-adversarial training methods, they still suffer from a major limitation: even though the feature extractor is well trained to give domain-invariant features of both the source and target samples, the corresponding model/classifier is trained on the source samples and cannot perfectly generalize to the target ones, i.e., the joint distributions of feature and category are not well aligned across data domains.
Some of existing methods have paid attention to this issue.For example, in [22, 34, 30], pseudo labels are assigned to target samples, on which the category-level alignment is promoted. In [12, 18], multiplicative interactions between feature representations and category predictions are exploited as high-order features to help adversarial training.
尽管领域对抗训练方法取得了显着的经验结果，但它们仍然受到一个主要限制：即使特征提取器经过了良好的训练以提供源样本和目标样本的领域不变特征，相应的模型/分类器 对源样本进行了训练，无法完美地推广到目标样本，即特征和类别的联合分布在各个数据域之间的排列不完全。一些现有方法已对此问题进行了关注。例如，在[22， [34，30]中，将伪标签分配给目标样本，并在其上促进类别级别的比对。 在[12，18]中，特征表示和类别预测之间的乘法交互被用作高级特征来帮助对抗训练。

这些现有方法在一定程度上缓解了上述问题。为了进一步推动这一发展，我们在本文中提出了一种域对称网络（SymNets）的新颖设计，以通过对抗性训练来促进跨数据域的特征和类别的联合分布的对齐。与[13]相似，我们提出的SymNet包含一个针对目标域的显式任务分类器。与[13]不同，我们还构造了一个附加分类器，该分类器与源和目标分类器共享神经元。构造三个分类器）。在这项工作中，我们提出了一种新的对抗学习方法来训练由此构造的SymNet，该方法包括类别级别和领域级别的混淆损失，从而可以朝类别级别增强领域不变特征学习。为了使目标分类器在预测任务类别方面与源分类器更加对称，我们还提出了一种跨域训练方案来帮助目标分类器的训练。仔细的消融研究表明，我们提出的SymNet关键设计的功效。

我们将主要贡献总结如下。
•我们在本文中提出了一种称为SymNet的新方法，用于对抗域自适应。我们提出的SymNet基于源和目标任务分类器的对称设计，在此基础上，我们还构造了与其共享层神经元的附加分类器。基于构造的附加分类器来实现域区分和域混淆。
•为了训练SymNet，我们提出了一种基于两级域混淆损失的新颖的对抗学习方法，其中，通过推动中间网络特征的学习在相应的位置不变，类别级混淆损失比域级混淆损失有所改善。由于未标记目标样本，因此我们还提出了一种跨域训练方案以帮助学习目标分类器。
•我们进行了仔细的消融研究，以研究拟议中的SymNet关键设计的功效。这些研究从经验上证实了我们的设计。特别是，基于常用的基础网络，我们提出的SymNet在Office-31 [21]，ImageCLEF-DA [1]和Office-Home [29]的基准域适应数据集上达到了最新的水平。

Related Works（相关工作）

In this section, we briefly review recent domain adaptation methods, in particular those aiming to align the joint distributions of feature and category across two data domains [22, 34, 30, 13, 23, 12, 18].
在本节中，我们简要回顾一下最近的领域自适应方法，尤其是那些旨在在两个数据域之间对齐特征和类别的联合分布的方法[22、34、30、13、23、12、18]。

Existing domain adaptation methods [28, 11, 32, 25, 3, 4, 26, 27, 13, 22, 34, 30, 12, 18] typically learn domain invariant features to minimize the domain discrepancy. Some of the existing methods [28, 11, 32, 25, 3, 4, 27] neglect the
alignment between the corresponding categories of the two domains. In contrast, to align the joint distributions of feature and category across two data domains, Saito et al. [22] proposes to asymmetrically use three task classifiers, where two task classifiers are utilized to label the unlabeled target samples according to their prediction consistency and the confidence, and another task classifier is trained by these target samples with pseudo labels. However, the trueness of pseudo labels is doubtful and false labels have a profoundly
negative impact on the performance. To improve the reliability of pseudo labels for target samples, Zhang et al. [34] reweights the target samples by the degree of confusion between domains, specifically those target samples which well
confuse the domain discriminator in domain labels, are thus assigned by higher weights. Xie et al. [30] aligns the centroid of each category between the two domains, instead of treating the pseudo labels as true ones directly. Long et al.
[13] uses a residual function to model the shift between the learned task classifiers of the two domains, which can be useful in the adaptation tasks of small domain discrepancy but inadequate to tackle the large domain discrepancy. In[12, 18], multiplicative interactions between feature representations and category predictions are exploited as highorder features to help adversarial training. By taking the category decision boundaries into account, Saito et al. [23] proposes to detect the target samples near the category decision boundaries by maximizing the discrepancy between the outputs of two separate task classifiers and learn a feature extractor to generate features near the source supportfor these target samples to minimize the discrepancy.
现有的域自适应方法[28、11、32、25、3、4、26、27、13、22、34、30、12、18]通常学习域不变特征以最小化域差异。一些现有方法[28、11、32、25、3、4、27]忽略了两个域的相应类别之间的对齐方式。相比之下，为使特征和类别的联合分布在两个数据域中对齐，Saito等人[22]建议不对称地使用三个任务分类器，其中两个任务分类器根据其未标记目标样本的预测一致性和对未标记目标样本进行标记。置信度，另一个目标分类器由带有伪标签的目标样本训练。但是，伪标签的真实性令人怀疑，而伪标签对性能产生深远的负面影响。为了提高伪样本对目标样本的可靠性，Zhang等人[34]通过域之间的混淆程度对目标样本进行加权，尤其是那些在域标记中混淆了域标识符的目标样本因此被赋予了更高的权重。 Xie等人[30]在两个域之间对齐每个类别的质心，而不是将伪标签直接视为真实标签。 Long等[13]使用残差函数对两个域的学习任务分类器之间的转换进行建模，这在小域差异的自适应任务中很有用，但不足以解决大域差异。在[12，18]中，特征表示和类别预测之间的乘法交互被用作高级特征，以帮助对抗训练。通过考虑类别决策边界，Saito等人[23]建议通过最大化两个单独任务分类器的输出之间的差异来检测类别决策边界附近的目标样本，并学习特征提取器以在源支持附近生成特征，并学习特征提取器以在源支持下生成特征这些目标样本可最大程度地减少差异。
To further promote the alignment of joint distributions of feature and category across data domains, our SymNets contain an explicit task classifier for the target domain and an additional classifier to enable domain discrimination and
domain confusion, and have two-level domain confusion losses, where the category-level confusion loss improves over the domain-level one by driving the learning of intermediate network features to be invariant at the corresponding categories of the two domains.
为了进一步促进跨数据域的特征和类别的联合分布的对齐，我们的SymNets包含用于目标域的显式任务分类器，以及用于实现域区分和域混淆的附加分类器，并具有两级域混淆损失，其中 通过推动对两个域的相应类别不变的中间网络特征的学习，类别级别的混淆损失比域级别的混乱损失有所改善。

The Proposed Domain-Symmetric Networks（拟议的域对称网络）

在无监督域自适应中，我们为ns个标记样本的源域Ds = {（x（si）; y（is））}（i = 1 ns）和目标域Dt = {（x（tj））} （nt j = 1）个nt未标记样品。 由于假设源域Ds和目标域Dt不同，因此违反了iid假设。 无监督域自适应的目标是学习特征提取器G和分类器C，以便可以将期望目标风险E（xt; yt）〜Dt [L（C（G（xt））; yt）]在确定损失下最小化。

Theoretical analysis [2] suggests that the target risk can be minimized by bounding the source risk and the discrepancy between two domains. Inspired by GANs [6], domainadversarial training [3, 4] is explored to achieve the later objective. As summarized in [27], there are three ways to implement the domain-adversarial training losses: minimax[3, 4], confusion [26], and GAN [27]. We introduce the domain confusion loss [26] that is most related to our method.
理论分析[2]表明，可以通过限制源风险和两个域之间的差异来最小化目标风险。 受GANs [6]的启发，探索了领域对抗训练[3，4]以实现后面的目标。 正如在[27]中总结的那样，有三种方法可以实现域对抗训练损失：minimax [3，4]，混乱[26]和GAN [27]。 我们介绍与我们的方法最相关的域混淆损失[26]。
Given a deep neural network that is composed of convolutional and fully-connected (FC) layers, the domain confusion method uses the lower convolutional layers as the feature extractor G and upper FC layers as the task classifier C. The domain discriminator D, which is in parallel with C, is added on top of G to distinguish features of samples from the two domains. Source risk minimization is achieved based on a standard supervised classification objective:

给定一个由卷积和全连接（FC）层组成的深层神经网络，领域混淆方法将较低的卷积层用作特征提取器G，将较高的FC层用作任务分类器C。 与C并行的D被添加到G之上，以区分两个域中样本的特征。 根据标准的监督分类目标，可将源风险最小化：

where Ls is typically a cross-entropy loss. Due to the existence of domain discrepancy, there is a large drop in performance when directly applying the model trained by (1) to the target data. Given feature representations of different domains extracted by G, we can learn a domain discriminator D using the following objective:

其中Ls通常是交叉熵损失。 由于存在域差异，因此将（1）训练的模型直接应用于目标数据时，性能会大大下降。 给定G提取的不同域的特征表示，我们可以使用以下目标来学习域区分符D：

Given a D, the domain confusion loss aims to learn G to maximally “confuse” the two domains, by computing the cross entropy between the domain predictions and a uniform distribution over domain labels:
给定一个D，域混淆损失的目的是通过计算域预测与域标签上的均匀分布之间的交叉熵，学习G以最大程度地“混淆”这两个域：

Domain alignment is achieved by learning a domaininvariant G based on the following adversarial objective of domain confusion:
通过基于以下领域混淆的对抗目标，学习领域不变G，即可实现领域对齐：

A Symmetric Design of Source and Target Task Classifiers(源任务分类器和目标任务分类器的对称设计)

As discussed in Section 1, although impressive results are obtained by existing methods of domain-adversarial training, they still suffer from the fundamental challenge of unsupervised domain adaptation, i.e., the joint distributions of feature and category cannot be well aligned across data domains. To address this challenge, we propose in this paper a novel domain-symmetric network (SymNet), with the corresponding domain-adversarial training method. We
first present architectural design of our proposed SymNet as follows (cf. Figure 1 for an illustration).
如第1节所述，尽管通过现有的领域对抗训练方法可以获得令人印象深刻的结果，但它们仍然遭受无监督领域自适应的根本挑战，即特征和类别的联合分布无法在数据域之间很好地对齐。 为了解决这一挑战，我们在本文中提出了一种新颖的域对称网络（SymNet），并提出了相应的域对抗训练方法。 我们首先按如下所示介绍我们提议的SymNet的体系结构设计（请参见图1进行说明）。
图1.我们提议的SymNet的体系结构，其中包括一个特征提取器G和三个C分类器； Ct和Cst。 请注意，分类器Cst与Cs和Ct共享其层神经元。 红色和蓝色分别表示目标数据和源数据以及它们所产生的损失。 黄色和绿色分别代表特征提取器和分类器，以及应用于它们的损失。 中间的虚线矩形给出了SymNet功能的一个玩具示例，该功能在两个域的相应类别中是不变的。 有关如何定义二级域混淆训练目标的信息，请参阅正文。

SymNet的设计始于两个并行任务分类器Cs和Ct。假设两个分类器中的每一个都基于单个FC层（以及随后的softmax操作）。Cs和Ct分别包含与源域和目标域上的类别数相对应的Ks和Kt神经元。 在无监督域自适应中，我们有Ks = Kt =K。对于SymNet的输入x，我们分别将softmax运算之前Cs和Ct的输出向量分别表示为vs（x）属于 RK和vt（x）属于 RK，并且ps（x）= [0，1] K和pt（x）= [0， 1] K
在softmax操作之后。除Cs和Ct外，我们的SymNet还具有分类器Cst，其设计如下。 给定输入x的vs（x）和vt（x），我们首先将它们连接起来以形成[vs（x）; vt（x）] = R2K，然后将softmax运算应用于级联向量，以使概率向量pst（x）= [0; 1] 2K。 因此，我们有Cst（G（x））= pst（x）。 为了便于后续表示，我们还为类别概率的第k个元素写了ps k（x）（分别是pt k（x）或pst k（x）），k = {1，…，K} Cs（G（x））（resp.Ct（G（x））或Cst（G（x）））预测的向量ps（x）（res.pt（x）或pst（x））。

请注意，在我们的SymNet设计中不存在任何明确的域区分符。 通过对分类器Cst施加适当的损失来实现域区分和域混淆，这将在稍后介绍。我们首先在下面介绍如何训练Cs和Ct.

Learning of Source Task Classifier学习源任务分类器

Cross-Domain Learning of Target Task Classifier目标任务分类器的跨域学习

由于目标样本未标记，因此不存在直接的监督信号来学习任务分类器Ct。 我们的想法是利用标记的源样本，并使用以下交叉熵损失来训练Ct：

乍看之下，似乎（6）学习的Ct是Cs的副本。 但是，通过Cst进行的域区分训练将使它们具有区别性。 实际上，（6）的使用对于在Cs和Ct之间建立神经元对应关系至关重要，这为实现第3.2节中介绍的类别级域混淆提供了基础。 在（6）中使用标记的源样本还使学习到的Ct在任务类别之间更具区分性。 我们在第4.3节中介绍了消融研究，这些研究证实了我们学习目标任务分类器Ct的有效性.

Domain Discrimination
Both Cs and Ct are trained using the labeled source samples. To differentiate between them, we leverage the constructed classifier Cst in the SymNet. We train Cst using the following two-way cross-entropy loss:
Cs和Ct均使用标记的源样本进行训练。 为了区分它们，我们利用了SymNet中构造的分类器Cst。 我们使用以下两个双向交叉熵损失来训练Cst：
其中PK k = 1 pst k（x）和PK k = 1 pst k + K（x）可以看成将输入样本x分别分类为源域和目标域的概率。 损耗的目标（7）直观地显示在图2中.

理想情况下，对于Cst的总共2K个神经元，施加损失（5）,（6）和（7）的综合效果将是使任务类别之间的前K个神经元的集合具有判别力，最后K个神经元的集合具有判别力 在任务类别之间进行区分，并使这两个集合彼此区分。 例如，对于类别k的源样本xs，Cs和Ct都倾向于做出准确的预测，而对于Cst，由于使用损耗，pst k的概率将大于pst k + K。 类似地，对于类别k的目标样本xt，Cs和Ct都倾向于做出准确的预测，而对于Cst，pst k + K的概率将大于pst k。

A Two-level Domain Confusion Training of Domain-Symmetric Networks（域对称网络的两级域混淆训练）

Similar to existing methods, we adopt the general strategy of adversarial training to learn an invariant feature extractor G for the SymNet. More specifically, we propose a novel two-level domain confusion method that is based on a domain-level confusion loss and a category-level confusion loss. The proposed two-level losses aim to maximally“ confuse” the two domains in order to align the joint distributions of feature and category across them.
与现有方法类似，我们采用对抗训练的一般策略来学习SymNet的不变特征提取器G。 更具体地说，我们提出了一种新颖的两级域混淆方法，该方法基于域级混淆损耗和类别级混淆损耗。 拟议的两级损失旨在最大程度地“混淆”这两个域，以便在它们之间对齐特征和类别的联合分布。

为了产生类别级别的混乱损失，我们再次依赖于标记的源样本。 对于类别k的源样本，我们在Cst中确定其对应的第k个和第（k + K）个神经元对，并使用该神经元对的预测与均匀分布之间的交叉熵，这提供了以下目的来学习 特征提取器G：

To have a domain-level confusion loss, we use the unlabeled target samples, since label information is unnecessary for confusion at the domain level. For a target sample, we simply use a cross-entropy between aggregated predictions
from the two half sets of neurons in Cst, and uniform distribution, which gives the following objective to learn the feature extractor G:
为了产生类别级别的混乱损失，我们再次依赖于标记的源样本。 对于类别k的源样本，我们在Cst中确定其对应的第k个和第（k + K）个神经元对，并使用该神经元对的预测与均匀分布之间的交叉熵，这提供了以下目的来学习 特征提取器G：

Note that one may opt for another domain-level confusion loss by using labeled source samples. We note that effect of such an additional loss may have been subsumed by the category-level confusion loss (8), which uses labeled source samples.
请注意，可以通过使用标记的源样本来选择另一种域级别的混乱损失。 我们注意到，此类额外损失的影响可能已归因于类别级别的混淆损失（8），后者使用了标记的源样本。

Entropy Minimization Principle熵最小化原理
Entropy minimization principle [7] is adopted by some domain adaptation methods [13, 33, 24] to enhance discrimination of learned models for target data. In this work, we adapt this principle to the symmetric structure of our proposed SymNet. We propose the following entropy minimization objective that enhances discrimination among task categories by summing over the probabilities at each pair of category-corresponding neurons in Cst:
某些领域自适应方法[13、33、24]采用了熵最小化原理[7]，以增强对目标数据的学习模型的区分。 在这项工作中，我们使这一原理适应了我们提出的SymNet的对称结构。 我们提出以下熵最小化目标，通过总结Cst中每对对应类别神经元的概率来增强任务类别之间的区别：
其中qkst（xt j）= pst k（xt j）+ pst k + K（xt j），k = {1，…，K}。 如[33]所建议的，为了减少由于大的域偏移而引起的副作用，而不是使用（10）来更新特征提取器G和分类器Cst，而是仅在此处使用熵最小化损失来更新G。 目标样本可能在训练的早期就被卡在了错误的类别预测中，之后很难纠正.

The Overall Training Objective of DomainSymmetric Networks(域对称网络的总体培训目标)

Combining the losses (5), (6), and (7) for updating classifiers, (8) and (9) of category- and domain-level confusion for updating the feature extractor G, and also the regularizer(10), we have the following training objective for a SymNet:结合损失（5），（6）和（7）来更新分类器，类别和领域级别混淆的损失（8）和（9）来更新特征提取器G以及正则器（10），我们 SymNet具有以下培训目标：


其中λ= [0; 1]是在训练的早期阶段抑制Fdomain st（G; Cst）和Mst（G; Cst）的噪声信号的折衷参数。 Fcategory st（G; Cst）无噪声，因为它基于标记的源样本.

Experiments

略

Conclusion

We propose a novel adversarial learning method termed domain-symmetric networks (SymNets) to overcome the limitation in aligning the joint distributions of feature and category across domains via two-level domain confusion losses. The category-level confusion loss improves over the domain-level one by driving the learning of intermediate network features to be invariant at the corresponding categories of the two domains. As a component of the SymNets, an explicit target task classifier is learned through a crossdomain training scheme. Experiments on three benchmarkdatasets verify the efficacy of our proposed SymNets.
我们提出了一种新的对抗学习方法，称为域对称网络（SymNets），以克服通过两级域混淆损失来对齐跨域特征和类别的联合分布的局限性。 通过推动对两个域的相应类别不变的中间网络特征的学习，类别级别的混淆损失比域级别的混乱损失有所改善。 作为SymNets的组成部分，通过跨域训练方案可以学习明确的目标任务分类器。 在三个基准数据集上进行的实验验证了我们提出的SymNets的有效性。