Learning Transferable Features with Deep Adaptation Networks

论文相关内容

本文中域适应的方法及目的

haI最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到新的领域适应任务。然而，随着深度特征在网络中最终由一般特征向特定特征过渡，随着区域差异的增大，深度特征在更高层次上的可移植性显著下降。因此，形式化地减少数据集偏差，增强任务特定层的可移植性是非常重要的。本文提出了一种新的深度适应方法网络(DAN)结构，将深度卷积神经网络推广到领域自适应场景。在DAN中，所有特定于任务的层的隐藏表示都嵌入到一个再生希尔伯特空间中，在这个空间中可以显式匹配不同域分布的平均嵌入。采用均值嵌入匹配的多核优化选择方法，进一步减小了域间的差异。DAN可以在有统计保证的情况下学习可转移的特性，并且可以通过核嵌入的无偏估计进行线性扩展。

本文的DAN框架

基础框架是基于AlexNet进行预训练的，1到3层提取的特征为泛化的，因此直接冻结（即直接使用AlexNet模型中的前3层）。4到5层学到了轻微的可迁移特征，因此基于原模型进行微调。最后3层的全连接层本是学习具体任务的特征再进行分类及其他方式处理，所以本文中在其中加了MK-MDD层来学习源域和目标域共有的特征，以使两者有接近的分布来做域适应。

MK-MMD

此为MK-MMD的平方，主要用来判断源域和目标域分布的相似程度。

域适应的优化目标本质上是一个极小极大问题。联合来最大化检验能力和类型二的错误（即两个分布不同却判定为相同的错误）
ps：核心思想和上篇的SSPP有点相像，一个域分类器一个特征提取器，方法不太一样，本质差不多。

总结

相关背景：深度神经网络可以学习可迁移的特征，这些特征可以很好的推广到域适应任务中，但是深度特征会随着网络泛化到特化的转变，特征的可迁移性会显著下降。
问题是什么：学习数据中可迁移的特征。
现有解决方案：TCA、GFK、CNN、LapCNN、DDC等
作者的核心思想、创新点在哪里：本文提出了新的深度适应网络架构DAN，可以通过在希尔伯特空间中的跨域的多层表示的平均嵌入匹配来增强特征的可迁移能力，多核选择的策略也进一步可提升嵌入匹配的有效性，泛化深度卷积神经网络到域适应场景中。
通过什么样的实验进行验证：通过在多个对比算法和DAN本身的变体在2个数据集的4个内容上进行了多组实验，最后分类的精确度展示了本文模型的先进性。
对我的启发：要善于结合不同的论文最后形成自己的idea。