一部分 数据 迁移_“迁移学习”：综述--A Survey on Deep Transfer Learning

来源：A Survey on Deep Transfer Learning. (International Conference on Artificial Neural Networks, ICANN, 2018)，清华大学

背景：在一些特定领域（如生物信息学、医学、机器人技术），数据的采集和标注成本高，构建大规模数据集非常困难，数据规模限制了深度神经网络的表达能力（本质是少量数据难以确定模型完整的表达空间）。迁移学习放宽了训练数据必须与测试数据独立同分布的（i.i.d.）的假设，旨在将知识从源域迁移到目标域。

概念：给定一个基于

学习任务

，我们可以从

中获取对任务

有用的知识。迁移学习旨在通过发现并转换

和

中的隐知识来提高任务

的预测函数

的表现，其中

&

，并且大多数情况下

的规模远大于

的规模。在深度学习任务中，预测函数

表示一个深度神经网络的分线性函数。

基于迁移学习中使用的技术，将深度迁移学习分成四类：基于实例的深度迁移学习，基于映射的深度迁移学习，基于网络的深度迁移学习和基于对抗的深度迁移学习，下面进行详细介绍。

1. 基于实例的深度迁移学习
   基于实例的深度迁移学习是指使用特定的权重调整策略，通过为那些选中的实例分配适当的权重，从源域中选择部分实例作为目标域训练集的补充。该类方案基于源域和目标域存在交集的假设。

如何从源域中挑选出那些可用实例？
· TrAdaBoost使用基于AdaBoost的技术来过来滤掉源域中的与目标域不同的实例。在源域
中对实例重新加权以构成类似于目标域的分布。最后，通过使用来自源域的重新加权实例和
来自目标域的原始实例来训练模型；

2. 基于映射的深度迁移学习
基于映射的深度迁移学习是指将源域和目标域中映射到新的数据空间，在这个新的数据空间
中，来自两个域的实例都相似且适用于联合深度神经网络。该类方案基于假设：“尽管两个
原始域之间存在差异，但它们在精心设计的新数据空间中可能更为相似。”

3.基于网络的深度迁移学习
基于网络的深度迁移学习是指复用在源域中预先训练好的部分网络，包括其网络结构和训练
参数，将其迁移到目标中使用的深度神经网络中，作为新网络结构的一部分。这类方案基于
的假设是：”神经网络类似于人类大脑的处理机制，它是一个迭代且连续的抽象过程。网络
的前面层被视为特征提取器，提取的特征是通用的。“

如何复用预训练好的网络结构？
· 一般认为浅层网络结构是与最终分类任务无关的特征变换，固定住这部分结构（网络参数
不参与更新），添加新的输出层进行再训练(fine-tune);
· 使用CNN在ImageNet数据集上训练的前几层来提取其他数据集图像中的中间图像表征，
有效的迁移到其他训练数据量受限的视觉识别任务；

4. 基于对抗的深度迁移学习
基于对抗的深度迁移学习引入了GAN中的对抗技术，以找到适用于源域和目标域的可迁移表
征。这类方案基于的假设是: " 为了有效迁移，良好的表征应该为主要学习任务提供辨别能
力，并且在源域和目标域之间不可区分。”

对抗层试图区分特征的来源。如果对抗神经网路的表现很差，则意味着两种类型的特征之间
存在细微的差别，可迁移性更好，反之亦然。

本文参考文献：
【1】清华大学综述：A Survey on Deep Transfer Learning
【2】原文链接：https://arxiv.org/pdf/1808.01974.pdf
【3】迁移学习简明手册：手册说明