【翻译】 A survey of transfer learning迁移学习综述

原文https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf

该文主要对A Survey on Transfer Learning Sinno Jialin Pan and Qiang Yang Fellow, IEEE（2009）中主要内容进行精简翻译。该文有超过17000的引用。

1. 简介A brief History of Transfer Learning

传统的数据挖掘和机器学习算法，运用在已经获取标签或者无标签的数据上训练的统计模型，对未来数据进行预测。半监督分类用大量的无标签数据和少量的有标签数据构建分类器，解决了标签数据少而无法构建分类器的问题。目前针对不完美数据，已经有有监督和半监督模型的相关研究。但是大部分方法，假设有标签和无标签数据具备相同的分布。 相反，迁移学习允许在训练和测试的domains，task和distribution不一样。

【example】我们可能会发现，通过对苹果的认知可以帮助我们认知梨，通过弹奏电子风琴可以帮助我们学习钢琴。

对于迁移学习的研究，基于人们可以机智的运用已有的知识更快的解决新的问题。迁移学习的推进，源于在NIPS-95 workshop on “Learning to Learn”的讨论。

图1中展示了传统的机器学习和迁移学习的不同学习过程。从图中，我们可以看出，传统的机器学习试图从头学习每一个任务，而迁移学习试图将从以往的任务中学到的知识迁移到一个有少量高质量训练数据的任务中。

图1 ：传统的机器学习和迁移学习的不同学习过程

2. 定义 Notations and definations

域包含两部分：特征空间和边缘概率分布，.例如，如果我们学习的任务是文档分类，每个词作为一个0-1特征，则为所有词空间，为第i 个词向量，为一个特定的学习样本。 总体上，如果两个域不一样，他们可能有不同的特征空间或者不同的边缘噶旅分布。

Defination1 (Tranfer learning) 规定一个源域和一个学习任务 ，一个目标域和一个任务，迁移学习是通过运用在 和知识，帮助提高对目标预测函数 在 的学习, 或者 。

3. 迁移学习技术分类 A categorization of Transfer Learning Techniques

 在迁移学习中，我们有以下三个主要研究的问题：1）迁移什么 2）如何迁移 3）什么时候去迁移。

1）what to transfer 迁移什么：问的是知识的哪一部分可以在域和任务上做迁移。

2）how to transfer 如何迁移：发掘了要迁移哪一部分知识后，被开发出来的学习类算法将对应解决如何迁移的问题。

3）when to transfer 什么时候迁移 主要是指在什么情况下需要迁移技术,同样我们也想知道什么情况下只是不应该被迁移。在某些情况下，当源域和目标域不相关时，强行迁移是不可行的。 最差的情况，会降低在目标域的学习表现， 这种现象通常被称为“负迁移”。目前大多数研究主要集中在“迁移什么”和“如何迁移”上， 这些情况假设源域和目标与是彼此相关的。但是，如何避免负迁移是一个会吸引更多关注的的开放性问题。

基于迁移学习的定义，我们在Table 1中总结了传统的机器学习和多种多样的迁移学习的设定。迁移学习基于源域和目标域以及源任何和目标任务的不同情况， 可分为三种：归纳式迁移，直推式迁移，以及无监督迁移。

。。。【待编辑】