Transfer Learning ——深度迁移学习

利用深度神经网络进行迁移学习

对比传统非深度迁移学习方法，深度迁移学习直接提升了在不同人物上的学习效果。并且由于深度学习直接学习原始数据，所以还有两个优势：自动化的提取数据更具有表现力的特征，以及满足了实际端到端的需求（End-to-End）

深度迁移学习的核心问题是研究深度网络的可迁移性，以及如何利用深度网络来完成迁移任务。因此深度迁移学习的成功是建立在深度网络的强大表征学习能力之上的。

方法

• 单流结构：预训练

• 双流结构：显式的接收源域和目标域两个数据来源

  1. 数据分布自适应：
     边缘分布自适应： DDC（MMD）DAN（三个适配层+多核MMD）
     条件分布自适应： DSAN（目标数据使用网络预测的概率分布）
     联合分布自适应： JAN（多层网络张量积定义联合概率分布在RKHS中嵌入表达）
     动态分布自适应： DDAN（动态适配单元DDA 动态调节边缘和条件分布）
  2. 结构自适应：
     批归一化：
     AdaBN（在不同领域均对数据进行了归一化操作，减小数据分布差异） AutoDIAL （通过权重系数控制对齐效果）BNM（最大化批量核范数提高问题中目标域的性能）
     多表示学习：
     大多数领域自适应方法使用单一的结构将两个领域的数据提取到同一个特征空间，在这个特征空间中使用不同方式（对抗，MMD等）衡量两个领域的分布差异，最小化这个差异实现分布对齐，但是单一结构提取的特征只能包含部分信息。所以多表示的领域自适应使用一种混合结构，将原始图像提取到不同特征空间，在不同特征空间分别进行特征对齐。
     多表示领域自适应是一种通用的结构，可以使用不同方法进行特征对齐。MRAN利用CMMD（Center MMD）进行特征对齐。也可使用其他，可以更具自己问题设定，灵活修改。通过多个子结构将特征映射到多个特征空间，在多个特征空间中分别进行特征对齐，多个子结构是可以不同的
  3. 知识蒸馏
     核心观点是：一个训练好的复杂模型中蕴含的知识可以被提纯到另一个小模型中。小模型拥有比大模型更简单的网络结构，预测效果与大模型相近，因此知识蒸馏也可以视为一种模型压缩技术