Similarity-based domain adaptation network：基于相似度的领域自适应网络

Accepted 27 December 2021（Neurocomputing），发文高校为吉林大学。

1.摘要

域适应利用标记的源域来解决未标记的目标域中的分类问题。以前的域适应方法考虑了全局域适应，而忽略了类信息，导致迁移性能不佳。近年来，许多研究人员研究了分类域自适应，其重点是准确对齐不同域的分布。然而，这些方法在域适应过程中无法区分相似度不同的样本，导致不同域的匹配不准确。

因此，本文提出了一种基于相似度的自适应网络（SBAN），它优化了基于相似度的域差异（SBDD），它对基于相似度的域内和域间差异进行建模，并提出了一种交替更新策略来训练SBAN。

具体来说，我们为具有不同相似性的样本分配不同的权重，最小化基于相似性的域间差异，使相似样本在域间分布对齐中占主导地位，同时减轻不同样本的影响，并最小化基于相似性的域内差异将不同的样本与同一域内的相似样本对齐，以学习更多的判别表示

2.思想

事实上我们不能直接优化基于相似度的域差异（ SBDD） 来训练深度网络。有两个原因。

首先计算 SBDD 需要源标签和目标标签，但目标标签是未知的。以前的方法主要使用网络输出或聚类结果作为估计的目标标签。然而，估计的标签可能不准确，这可能会降低自适应性能。

其次，在训练过程中，一个mini-batch中c类的样本可能都来自一个域，这使得无法计算c类的域间差异，或者一个mini-batch中c类的大部分样本。可能是不同的样本，这使得准确对齐分布变得困难。这些可能导致域适应效率低下。为了解决上述问题，我们需要专门设计训练过程和网络。

本文提出了基于相似性的适应网络（SBAN）。在训练过程中，SBAN 交替估计目标标签并根据 SBDD 调整表示。为了估计目标标签，我们同时考虑网络输出和聚类结果。

对于估计一致的目标样本，我们假设它们的估计标签是相对准确的，我们使用这样的目标样本来计算SBDD。我们发现，SBDD 中涉及的目标样本数量随着训练的进行而增加。

然后，根据目标（源）样本与源（目标）域中相同类的中心的距离计算目标（源）样本的相似度。此外，我们提出了一种基于相似性的采样策略，即从两个域中对每个类的样本进行采样以构建一个 mini-batch，每个样本被采样的概率与其相似性成正比。

3.创新与贡献

1.提出了基于相似性的域差异（SBDD）来实现基于相似性的分布对齐。

2.提出了基于相似性的适应网络（SBAN）和交替更新策略来训练网络。

3.对四个公共数据集进行了实验，结果表明 SBAN 优于其他最先进的方法。

4.问题的引出

左图：以前的域适应方法无法区分不同样本和相似样本，这可能导致源和目标分布的错位。
右图：基于相似性的域自适应考虑了样本的相似性，以学习每个样本的细粒度信息。

5.模型

1.最小化 SBDD，SBAN 交替估计目标域的标签并调整特征表示
2.对于特征自适应，将标记的源样本和目标样本放入深度网络，然后我们可以获得它们的多层表示。我们使用全连接层的表示来计算SBDD
3.此外，对源样本进行独立采样以计算监督损失

5.1 基于相似性的域差异

最小化基于相似性的域间差异，使相似样本主导跨域的类分布对齐

最小化基于相似性的域内差异，以拉动同一类中不相似和相似样本的表示更近。我们同时最小化域间和域内差异以提高适应性能。

论文根据样本与另一个域中相应类中心之间的距离来定义每个样本的相似度。具体来说，我们计算源（目标）样本与目标（源）域中同一类的中心之间的距离。显然，一个样本与对应中心的距离越小，这个样本的相似度就越大，目标域中的每个类中心计算为：

当聚类标签和网络输出标签一致时，用余弦相异度计算源样本与目标域中相应类中心之间的距离。根据这个距离，源样本的相似度

目标样本相似度的计算与源样本相似。为了测量基于相似性的域差异，我们受到基于 MMD 的转移技术的启发，并考虑了样本相似性。基于相似性的域差异由两个差异组成：基于相似性的域间差异和基于相似性的域内差异。我们首先计算基于相似性的域间差异。为了使相似的样本能够主导类跨域对齐，我们为具有高相似性的样本分配高权重。我们将基于相似性的域间差异的经验估计公式化为

两个w分别代表属于C类的源域样本和目标域样本基于相似性的权重，计算方式为：

于是改写公式6为

然后，我们计算基于相似度的域内差异，它由源域和目标域的基于相似度的域内差异组成。为了使不相似的样本接近每个域内同一类的相似样本，我们计算了每个类的原型与每个类的基于相似性的原型之间的距离。对于源域，我们将基于相似性的域内差异的经验估计公式化为

5.2 基于相似性的自适应网络

卷积层学习的特征通常是可迁移的，而全连接层学习的特征的可迁移性随着域差异的增加而显着降低。因此，有必要增强全连接层的可迁移性。我们使用在 ImageNet上预训练的模型，并用多个特定领域的全连接层替换最后一个具有低可迁移性的全连接层。

然后，我们尝试减少这些全连接层上的 SBDD，并通过反向传播微调卷积层的参数。我们提出的网络被命名为基于相似性的适应网络（SBAN）
在深度网络中，SBDD 需要在最后 L 个特定于域的全连接层上最小化

5.3 优化相似度的自适应网络SBAN

在本文中，我们交替优化目标标签和特征表示。具体来说，我们固定网络参数 h 并通过网络输出和聚类结果估计目标标签，并根据估计的目标标签，我们计算和优化SBDD，通过反向传播更新网络参数h。我们使用 K-means 对目标样本进行聚类，并将聚类数初始化为类别数，并将目标聚类中心初始化为源聚类中心，之后根据聚类和网络输出的两个标签，丢弃结果不相同的样本，这样我们同时利用源和目标分布的特征来更准确地估计目标标签。

此外，为了更准确地估计分布统计，我们保证每个类至少包含来自相同标签预测的 N0 个样本。不满足此条件的类将被视为歧义类，将被过滤掉。
在训练开始时，由于巨大的领域差异，可能会过滤掉一些目标样本和类别。然而，随着训练的进行，越来越少的样本和类别被过滤掉。我们认为有两个主要原因
1.随着训练的进行，模型变得越来越准确；
2.通过最小化 SBDD，不同域的分布将更加相似，因此可以考虑模棱两可的样本和类。

5.4 总目标函数

一个mini-batch中c类的样本可能都来自一个域，这使得c的域间差异无法计算，或者一个mini-batch中可能存在大量不同的样本，这使得难以计算准确对齐分布。我们在两个领域都采用基于相似性的采样来执行 SBAN 的小批量训练。每个样本被采样的概率与其相似性成正比。

这样，在训练开始时，我们就让相似样本主导分布对齐，减轻不同样本的影响。随着训练的进行，受益于 SBDD，所有样本的相似度变得更高，最终所有样本都有相同的概率被选择进行训练。

6.实验

6.1 ImageCLEF-DA（3个域）

6.2 Office-31（3个域共31个类）

6.3 Office-Home（4个域共65个类）

6.4 VisDA（合成域和真实域共12个类）

6.5 消融实验

域内域间度量的作用

替代优化和基于相似性的采样的效果

比较估计目标标签的不同方法

7.总结

1.在本文中，针对 UDA 提出了基于相似性的适应网络 (SBAN)。

2.与以前在域适应期间无法区分具有不同相似性的样本的方法不同，SBAN 优化了基于相似性的域差异 (SBDD)，它明确定义了基于相似性的域内和域间差异。

3.此外，设计了交替更新策略和基于相似性的采样策略来训练网络。进行了广泛的实验以证明 SBAN 的优越性。

4.未来的工作将把 SBAN 扩展到多源域适应。