Learning Transferable Features with Deep Adaptation Networks-CSDN博客

本文链接：https://blog.csdn.net/weixin_44855366/article/details/126655422

研究发现，随着domain之间差异性的增大，高层特征的可迁移性显著下降。作者针对这种情况，提出了“多核”和“多层”的想法，“多核”是指使用了多核MMD，“多层”是指适配了多层特征。

摘要

深度神经网络可以学习可迁移特征，这些特征用于域适应时在新的任务上表现出很好的泛化能力。但是特征的迁移性在高层明显下降，并增加域差异。因此论文的motivation是formally reduce the dataset bias and enhance the transferability in task-specific layers，即形式化地减少数据集偏差，增强任务特定层的可移植性。

论文提出一个Deep AdaptationNetwork (DAN) 结构（深度自适应网络结构），将深度卷积神经网络推广到领域自适应场景，DAN中所有任务层的隐藏表示都能嵌入到Hilber空间中。

1.Introduction

对图片学习，transfer learning很重要，如果能从有训练数据的数据集中学到的特征知识迁移到没有足够训练数据的数据集中应用，即将已有的经验应用到新的任务重去，这可以节省相当大的成本。建立知识转移（knowledge transfer）的主要方法之一是从数据中学习域不变模型，该模型可以在同构的潜在特征空间中架起源域和目标域之间的桥梁。
DAN联合卷积神经网络，减小域差异来实现。（域差异指的是源域和目标域的差异）DAN网络可以学习可跨越域差异的可迁移特性。

本文的贡献总结如下：

提出了一种新的领域自适应深度神经网络结构，该结构中与任务特定特征对应的所有层都是分层自适应的，从而从深度自适应中获益。
探索多内核自适应深度表示，与单一内核方法相比，大大提高了自适应效率。该模型可以产生无偏的深层特征与统计保证。

2. Related Work

3. Deep Adaptation Networks

在无监督域自适应中，给出了带 $n_s$ 个标记的源域 $D_s=\left \{ \left ( x_i^s,y_i^s \right ) \right \}^{n_s}_{i=1}$ ，带 $n_t$ 个标记的目标域 $D_t=\left \{x_j^t \right \}^{n_t}_{j=1}$ 。源域和目标域分别用概率分布 $p$ 和 $q$ 表示。我们的目标是构建一个深层神经网络能够学习transferable features，并构建一个分类器 $y=\theta \left ( x \right )$ ，可以使用使用源域监督来最小化目标风险 $\epsilon (\theta)=Pr_{_{(x,y)\sim q}}[\theta(x)\neq y]$ 。在半监督自适应中，当目标域有少量带标记的例子时，我们用 $D_a=\left \{ (x_i^a,y_i^a) \right \}$ 中的 $n_a$ 表示源域和目标域的注释的例子。

3.1. Model

源域和目标域的数据都放在一起，通过AlexNet来训练，前三层frozen，第四层第五层fine-tuning，当到后面几层时，source data和target data分开，然后通过MK-MMD方法来计算两个域的距离，并且通过损失函数来进行优化，最后当损失函数优化到设定的阈值时，就可进行最终的分类。

因为特征的可迁移性随着层数的加深而显著下降，可以理解为前几层提取的是general的特征，越往后就会提取出更针对当前任务的specific的特征。对于下图中的网络在 conv4 - conv5 处，特征可迁移性变差，在fc6 - fc8处，特征可迁移性显著变差，所以需要对较深的多层全部进行适配而不是只针对其中的某一层。所以和DDC不同，DAN对 fc6 到 fc8 的全连接层都通过MK-MMD进行了适配。