[论文阅读笔记@2019.6] Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

本文提出了一个新颖的无监督领域适应方法,通过最大化分类器之间的分歧来改进目标领域的特征。该方法利用两个任务特定的分类器和一个特征生成器,旨在在保持源域分类准确性的同时,找出远离源域支持的目标样本。通过对抗性学习,生成器被训练以欺骗分类器,而分类器则被训练以增强它们在目标样本上的输出差异。实验在分类和语义分割任务上展示了方法的有效性,尤其是在VisDA数据集上优于其他基于分布匹配的方法。
摘要由CSDN通过智能技术生成

[论文阅读笔记@2019.6] Maximum Classifier Discrepancy for Unsupervised Domain Adaptation

Paper
Source Code

  • Unsupervised DA (UDA)
  • 提出了一种新的领域适应对抗训练方法,该方法通过考虑特定任务的决策边界来调整目标领域的分布
  • 对方法做了广泛评估:数字分类,对象分类和语义分割

1. Introduction

Previous Methods:

  • domain classifier(i.e., a discriminator) and feature generator
  • Source and target samples are input to the same feature generator. The discriminator is trained to discriminate the domain labels of the features generated by the generator whereas the generator is trained to fool it

对抗训练,判别器被训练用来区分不同域的特征;生成器被训练用来欺骗判别器,即拉近两域分布,让判别器区分不出特征来自哪个域。

However:

  • This method should fail to extract discriminative features because it do not consider the decision boundary.

如图左,只考虑了拉近目标域和源域的分布,并没有考虑具体任务的决策边界。
在这里插入图片描述

因为只考虑拉近两个域的分布,所以在分类边界会存在不能准确分类的模糊特征。

Proposed Method:

  • task-specific classifiers and a feature generator
  • task-specific classifiers: Two classifiers try to classify source samples correctly and, simultaneously, are trained to detect the target samples that are far from the support of the source

由于远离支持点的样本没有被明确的分到哪一个类中,没有区分特性。所以提出用特定任务分类器当作判别器。

  • 特定任务分类器:两个分类器被训练用于源域的正确分类,同时被训练用于检测远离源域支持点的目标域样本

依然采用判别器和生成器对抗训练的方法,生成器被训练用来欺骗判别器,即要让它生成目标特征,并让这个特征更靠近源域支持点(图右)。

2. Related Work

略。

3. Method

3.1 Overall Idea

要让生成器的特征更远离分类边界(靠近源域支持)

How to detect target samples far from the support?

在训练开始就初始化两个不同的分类器(已经在源域分类准确),利用这两个分类器在目标样本预测上的差异来检测这些远离支持点的目标样本,越是靠近分类边界的样本,在两个分类器的分类结果差异就越大,如图中黄色区域。
在这里插入图片描述

这样,只要找到两个分类器的预测差异的一种度量,固定分类器,去训练特征生成器,就可以让生成的特征更靠近源域支持点
在这里插入图片描述

让分类器(F1、F2)能更好的找到远离源域支持的目标样本

要让F1和F2在准确分类的前提下、最大化输出特征的差异。如果没有这一步,两个分类器可能会变得非常相似,就不能很好的区分靠近边界的目标样本了。
在这里插入图片描述

重复以上对抗性的学习步骤

如图,加强分类器输出差异,再以以最小化差异(远离黄区)为目标训练生成器,再加强分类器,再训练生成器…最终,目标样本通过生成器后的特征将靠近源域支持点。注意,在开始这样的对抗训练之前,首先有一个在源域上训练的过程,保证生成器和分类器在源域上的分类结果是正确的
在这里插入图片描述

3.2 Discrepancy Loss

  • F1、F2的输出为K个类softmax后的值,本文用两个分类器概率输出之差的绝对值(L1距离)作为差异损失:
    d ( p 1 , p 2 ) = 1 K ∑ k = 1 K ∣ p 1 k − p 2 k ∣ {d(p_{1},p_{2})} =\frac{1}{K}\sum_{k=1}^{K}|p_{1_{k}}-p_{2_{k}}| d(p1,p2)=K1k=1Kp1k

  • 13
    点赞
  • 37
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 最大分类器差异是一种用于无监督域自适应的方法,它通过最大化源域和目标域之间的分类器差异来提高模型的泛化能力。该方法通过在源域和目标域之间构建一个共享的特征空间,并使用最大均值差异来对齐两个域之间的特征分布。最大分类器差异方法已经在图像分类、目标检测和语音识别等领域得到了广泛的应用。 ### 回答2: 最大分类器差异(maximum classifier discrepancy)是一种用于无监督领域适应的分类器度量方法。在无监督领域适应中,在源域和目标域之间存在着分布差异,因此我们无法直接利用源域的标记样本进行训练。而最大分类器差异方法尝试通过最小化源域和目标域之间的分类性能差异来进行域适应,从而提高在目标域上的分类性能。 在最大分类器差异方法中,我们使用分别使用源域和目标域的数据来训练两个分类器。然后,我们用两个分类器来分别对源域和目标域的数据进行分类,并计算两个分类器之间的差异。这个差异被称为最大分类器差异。最大分类器差异越小,说明源域和目标域之间的分类性能差异越小。 最大分类器差异方法的优点在于它不需要任何标记信息,因此可以更好地解决无监督领域适应问题。此外,最大分类器差异方法可以应用于各种不同类型的数据,包括图像、语音等等。 最大分类器差异方法的一个缺点是,它仅仅关注了源域和目标域之间的分类性能差异,而没有考虑其他因素。另外,最大分类器差异方法的计算复杂度较高,需要对数据进行多次训练和分类,在实际应用中可能存在一定的困难。 ### 回答3: 最大分类器差异(Maximum Classifier Discrepancy,MCD)是一种用于非监督式域适应(Unsupervised Domain Adaptation,UDA)的优化方法,用于在源域和目标域之间的差异中减少域偏移和增加分类器的鲁棒性。MCD在同类和异类样本之间寻找主要差异,并通过对样本特征进行最大投影差异来实现最佳分离。 在非监督式域适应中,我们没有目标标签可用,因此不能使用传统的监督方法进行域适应。MCD通过最大化分类器在源域和目标域之间的差异,来找到两个领域之间的分界线,并提高分类器的泛化能力。具体来说,MCD使用最大平均散度(Maximum Mean Discrepancy,MMD)来测量源域和目标域之间的相似性和差异性,即通过学习使得源域和目标域的特征分布差异最大化的映射函数,来尽可能减少领域之间的差异。 MCD还可以用于不同类型的域适应问题,包括图像领域、语音领域和自然语言处理领域。在图像领域中,MCD可以用于目标域具有不同光照、角度和尺度情况的情况下的图像分类。在语音领域和自然语言处理领域中,MCD可以帮助训练具有更好鲁棒性的语音识别模型和文本分类模型。 总之,MCD是一种用于非监督式域适应的有效工具,它能够在源域和目标域之间的差异中找到主要的差异,并提高分类器的泛化能力。同时,MCD也是一个可扩展的方法,可以应用于不同领域和问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值