迁移学习基本概述

概述

  非深度学习时期，杨强^[1]就首先提出迁移学习（Transform Learning）。虽然迁移学习的基本思想之前就已经存在，但是这里还是以杨强2010年提出开始作为时间线梳理从2010年至2018年间，机器学习以及深度视觉顶会中出现的算法做简单梳理，暂时忽略我看不懂的算法文章~~~

1. 迁移学习要做什么以及我们的目标

  以国漫《刺客伍六七》举例，伍六七在失忆以前是顶尖刺客，失忆以后他是“以气御剪”的超帅理发师，以顶尖刺客到理发师作为一个迁移过程，顶尖刺客相当于数据的源域（Source Domain），理发师相当于数据的目标域（Target Domain）,要做的就是从用魔刀千刃的刺客变成理发师的时候能不学习就会或者“轻度”学习就会。

图1.1刺客伍六七（上）理发师伍六七（下）

  2010年杨强提出迁移学习后做了以下的任务分解。就像机器学习由数据标签分类一样，迁移学习大类也可以分为标签只在源域中，目标域中有可用标签，以及源域与目标域中皆无可用标签。结合实际要做的课题，更进一步为仅在源域中有标签的域自适应（Domain Adaptation）方向。

图1.2 迁移学习分类

2. 对DA的基本理解

  以分类任务为例，终极目标是算法能够准确地在目标域上分类。往后退一步想，对于散落在特征空间的特征，首先想的起码把它们拉到一起，二者特征差异越小越好，让迁移的两个域尽量“对齐”，即域自适应(Domain Adaptation,DA)，这样才能使得在源域上训练出来的模型在目标域上也会有很好的效果。如下图所示。

图2.1 DA

  源域与目标域之间的差异有大有小，或者直观感受为域之间的距离有大有小，差异较大的域之间可能迁移一步不足以使二者靠近，例如从图片迁移到文字，当此则需多迁移几步即多步迁移。多步迁移选择合适的中间域进一步变成较为简单的单步迁移。
  单步迁移中由数据特征不同分为同构（Homogeneous）与异构(Heterogenous)。具体而言，同构数据则数据空间相同，数据分布不同，异构数据则是数据空间不同（例如图片空间与文字空间），数据分布不同。课题中信号类型相同，应当以无监督的单步同构域自适应为主。

图2.2 DA分类

3. DA常见算法

  深度学习时代以特征自适应为主，但是为了提高性能也会混有实例自适应或者模型自适应。DA主要有三种，基于差异的域自适应（Discrepancy-based DA）、基于对抗的域自适应(Adversarial-based DA)和基于重构的域自适应(Reconstruction-based DA)。

图3.1 DA方法分类[2]

  需要说明一个实验。实验过程不必了解，实验结果是通过fine-tune不同深度的神经网络对比发现：越底层的神经网络提取的是越是整个数据的全局特征，越高层的神经网络提取到的特征越具有“任务化”（Features must eventually transition fr om general to specific by the last layer of the network.）。放到DA中可以理解为越底层的网络提取到的特征越具有两个域相同的特征，越高层提取两个域特有的特征^[3]。

4. 无监督的域自适应算法

  具体落地的做法以非深度学习（深度学习也一样）前杨强文章的分类为做法，主要有三种，分别是特征自适应(Feature adaption)、实例自适应(Instance adaption)