对于DAN方法的解读-Learning Transferable Features with Deep Adaptation Networks

上周汇报了该篇经典文章，现在回顾并且记录一下自己对DAN方法的理解

深度适配网络-DAN 《利用深度适应网络学习可迁移特征》

下面分为五个部分来讲解：

一. 研究背景

二. 本论文所解决的问题

三. DAN 方法

四. 实验部分

五. 结合自己的论文

一.研究背景

 精简的说， 研究表明：深度 神经网络可以学习可迁移特征，这些特征用于域适应时在新的任务上表现出很好的泛化能力。然而由于深度特征随着网络层数的增加由一般到特殊转变，特征的可迁移能力在网络高层急剧下降，极大地增加了域之间的差异性 。

  神经网络通常在 前面几层都学习到的是通用的特征（ general feature ），随着网络的加深，后面的网络更偏重于学习特定的特征（ specific feature ）。

其中有两篇经典论文可以作为背景来介绍。

第一篇是《how transferable are features in deep neural networks？》

该论文可以说是迁移学习非常有里程碑意义的一篇了，其中画出的这个图很能说明问题。我们基础的神经网络可以单独看作B，在此基础上，把网络A进行迁移，其中n代表了迁移，比如BnB+就是把B的前n层迁移到B，+表示微调，意味着更加符合后面网络的形状。我们可以重点来看AnB和AnB+两者，当单纯的把A网络迁移到B上时，可观察到，随着网络层数的增加，前三层变化不大，从第四层开始精确度下降，这也说明了对于AlexNet模型来说，前三层学习到的是通用特征，后面学习到的是specific feature。

第二篇是《Deepdomainconfusion: maximizing for domain invariance》

 该论文 提出了一种 DDC 方法， 针对于预训练的 AlexNet （ 8 层）网络，在第 7 层（也就是 feature 层， softmax 的上一层）加入了 MMD 距离来减小 source 和 target