[论文阅读笔记@2019.6] Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

[论文阅读笔记@2019.6] Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

Paper
Source Code

• Unsupervised DA (UDA)
• 提出了一种新的领域适应对抗训练方法，该方法通过考虑特定任务的决策边界来调整目标领域的分布
• 对方法做了广泛评估：数字分类，对象分类和语义分割

1. Introduction

Previous Methods:

• domain classifier(i.e., a discriminator) and feature generator
• Source and target samples are input to the same feature generator. The discriminator is trained to discriminate the domain labels of the features generated by the generator whereas the generator is trained to fool it

对抗训练，判别器被训练用来区分不同域的特征；生成器被训练用来欺骗判别器，即拉近两域分布，让判别器区分不出特征来自哪个域。

However:

• This method should fail to extract discriminative features because it do not consider the decision boundary.

如图左，只考虑了拉近目标域和源域的分布，并没有考虑具体任务的决策边界。

因为只考虑拉近两个域的分布，所以在分类边界会存在不能准确分类的模糊特征。

Proposed Method:

• task-specific classifiers and a feature generator
• task-specific classifiers: Two classifiers try to classify source samples correctly and, simultaneously, are trained to detect the target samples that are far from the support of the source

由于远离支持点的样本没有被明确的分到哪一个类中，没有区分特性。所以提出用特定任务分类器当作判别器。

• 特定任务分类器：两个分类器被训练用于源域的正确分类，同时被训练用于检测远离源域支持点的目标域样本

依然采用判别器和生成器对抗训练的方法，生成器被训练用来欺骗判别器，即要让它生成目标特征，并让这个特征更靠近源域支持点（图右）。

2. Related Work

略。

3. Method

3.1 Overall Idea

要让生成器的特征更远离分类边界（靠近源域支持）

How to detect target samples far from the support?

在训练开始就初始化两个不同的分类器（已经在源域分类准确），利用这两个分类器在目标样本预测上的差异来检测这些远离支持点的目标样本，越是靠近分类边界的样本，在两个分类器的分类结果差异就越大，如图中黄色区域。

这样，只要找到两个分类器的预测差异的一种度量，固定分类器，去训练特征生成器，就可以让生成的特征更靠近源域支持点。

让分类器（F1、F2）能更好的找到远离源域支持的目标样本

要让F1和F2在准确分类的前提下、最大化输出特征的差异。如果没有这一步，两个分类器可能会变得非常相似，就不能很好的区分靠近边界的目标样本了。

重复以上对抗性的学习步骤

如图，加强分类器输出差异，再以以最小化差异（远离黄区）为目标训练生成器，再加强分类器，再训练生成器…最终，目标样本通过生成器后的特征将靠近源域支持点。注意，在开始这样的对抗训练之前，首先有一个在源域上训练的过程，保证生成器和分类器在源域上的分类结果是正确的。

3.2 Discrepancy Loss

• F1、F2的输出为K个类softmax后的值，本文用两个分类器概率输出之差的绝对值(L1距离)作为差异损失:
  d ( p 1 , p 2 ) = 1 K ∑ k = 1 K ∣ p 1 k − p 2 k ∣ {d(p_{1},p_{2})} =\frac{1}{K}\sum_{k=1}^{K}|p_{1_{k}}-p_{2_{k}}| d(p1​,p2​)=K1​∑k=1K​∣p1k​​−p