迁移学习

迁移学习

##人工智能产业研究院

“机器学习”（Machine Learning）是人工智能的核心研究领域之一，其最初的研究动机是为了让计算机系统具有人的学习能力以便实现人工智能。机器学习领域奠基人之一、美国工程院院士T. Mitchell教授在其经典教材《Machine Learning》中所给出的机器学习经典定义为“利用经验来改善计算机系统自身的性能“。一般而言，经验对应于历史数据（如互联网数据、科学实验数据等），系统对应于数据模型（如决策树、支持向量机等），而性能则是模型对新数据的处理能力（如分类和预测性能等）。因此，机器学习的根本任务是数据的智能分析与建模。

随着信息技术不断向网络化、低成本方向发展，人们在社会生活、科学研究等各个领域中的数据正以前所未有的速度产生并被广泛收集、存储。如何实现数据的智能化处理从而充分利用数据中蕴含的知识与价值，已成为当前学术界与产业界的共识。正是在这样的大趋势下，机器学习作为一种主流的智能数据处理技术，其作用日渐重要并受到了广泛关注。

例如，美国科学院、工程院两院院士T. J. Sejnowski等人2009年在《Science》上撰文指出，机器学习正成为发展新的学科的基础之一；美国政府2012年公布的大数据研究发展计划中，将机器学习作为核心支撑技术；在我国制定的《国家中长期科学和技术发展规划纲要》(2006-2020年)中，以机器学习为核心的“智能”关键词在目录中6次出现。特别值得一提的是，计算机界最高奖图灵奖在2010年与2011年连续两年授予机器学习领域的两位杰出学者（L. Valiant，2010年度；J. Pearl，2011年度），这标志着机器学习经过30余年的蓬勃发展，现已成为计算机科学中最重要和最活跃的研究分支之一。

迁移学习

在传统分类学习中，为了保证训练得到的分类模型具有准确性和高可靠性，都有两个基本的假设：

(1) 用于学习的训练样本与新的测试样本满足独立同分布；
(2) 必须有足够可用的训练样本才能学习得到一个好的分类模型。

但是，在实际应用中我们发现这两个条件往往无法满足。首先，随着时间的推移，原先可利用的有标签样本数据可能变得不可用，与新来的测试样本的分布产生语义、分布上的缺口。另外，有标签样本数据往往很缺乏，而且很难获得。这就引起了机器学习中另外一个重要问题，如何利用少量的有标签训练样本或者源领域数据，建立一个可靠的模型对具有不同数据分布的目标领域进行预测。近年来，迁移学习已经引起了广泛的关注和研究。

迁移学习是运用已存有的知识对不同但相关领域问题进行求解的新的一种机器学习方法。它放宽了传统机器学习中的两个基本假设，目的是迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题。迁移学习广泛存在于人类的活动中，两个不同的领域共享的因素越多，迁移学习就越容易，否则就越困难，甚至出现“负迁移”，产生副作用。

比如：一个人要是学会了自行车，那他就很容易学会开摩托车；一个人要是熟悉五子棋，也可以轻松地将知识迁移到学习围棋中。但是有时候看起来很相似的事情，却有可能产生“负迁移”，比如，学会自行车的人来学习三轮车反而不适应，因为它们的重心位置不同。

研究近况

基于特征选择的迁移学习方法**是识别出源领域与目标领域中共有的特征表示，然后利用这些特征进行知识迁移。Jiang等人认为与样本类别高度相关的那些特征应该在训练得到的模型中被赋予更高的权重，因此他们在领域适应问题中提出了一种两阶段的特征选择框架。

第一阶段首先选出所有领域(包括源领域和目标领域)共有的特征来训练一个通用的分类器；然后从目标领域无标签样本中选择特有特征来对通用分类器进行精化从而得到适合于目标领域数据的分类器。Dai等人提出了一种基于联合聚类(Co-clustering)的预测领域外文档的分类方法CoCC，该方法通过对类别和特征进行同步聚类，实现知识与类别标签的迁移。CoCC算法的关键思想是识别出领域内(也称为目标领域)与领域外(也称为源领域)数据共有的部分，即共有的词特征。然后类别信息以及知识通过这些共有的词特征从源领域传到目标领域。Fang等人利用迁移学习对跨网络中的协作分类进行研究，试图从源网络迁移共同的隐性结构特征到目标网络。该算法通过构造源网络和目标网络的标签传播矩阵来发现这些隐性特征。

基于特征映射的迁移学习方法是把各个领域的数据从原始高维特征空间映射到低维特征空间，在该低维空间下，源领域数据与目标领域数据拥有相同的分布。这样就可以利用低维空间表示的有标签的源领域样本数据训练分类器，对目标测试数据进行预测。

Pan等人提出了一种新的维度降低迁移学习方法，他通过最小化源领域数据与目标领域数据在隐性语义空间上的最大均值偏差(Maximun Mean Discrepancy)，从而求解得到降维后的特征空间。在该隐性空间上，不同的领域具有相同或者非常接近的数据分布，因此就可以直接利用监督学习算法训练模型对目标领域数据进行预测。Blitzer等人提出了一种结构对应学习算法(Structural Corresponding Learning, SCL)，该算法把领域特有的特征映射到所有领域共享的“轴”特征，然后就在这个“轴”特征下进行训练学习。

Yeh等人提出一种新的领域适应性方法解决跨领域模式识别问题。他们使用典型相关分析方法(CCA)得到相关子空间作为所有领域数据的联合表示，并提出核典型相关分析方法(KCCA)处理非线性相关子空间的情况。特别地，他们提出一种新的带有相关性正则化的支持向量机方法，可以在分类器设计中加入领域适应性能力从而进行领域适应性模式分类。

在迁移学习中，有标签的源领域数据的分布与无标签的目标领域数据的分布一般是不同的，因此那些有标签的样本数据并不一定是全部有用的。如何侧重选择那些对目标领域分类有利的训练样本，Jiang等人提出了一种实例权重框架来解决自然语言处理任务下的领域适应问题。他们首先从分布的角度分析了产生领域适应问题的原因，主要有两方面：实例的不同分布以及分类函数的不同分布。因此他们提出了一个最小化分布差异性的风险函数，来解决领域适应性问题。Dai等人扩展Boosting学习算法到迁移学习中，提出了TrAdaBoost算法。在每次迭代中改变样本被采样的权重，即在迭代中源领域中的样本权重被减弱，而有利于模型训练的目标领域中的样本权重被加强。他们还用PAC理论分析证明了该算法的有效性。

根据是否从多个源领域数据学习，迁移学习算法又可以分为单个源领域以及多个源领域的迁移学习。 Gao等人解决了不同模型的一致性问题。这两个多源领域学习的工作很好地处理了多个模型的集成问题。为了更加深入地挖掘、开发各个源领域数据的内部结构或者数据分布，Zhuang等人提出了一致性正则化框架，在这个框架下，局部的子分类器不仅考虑了在源领域上可利用的局部数据，而且考虑了这些由源领域知识得到的子分类器在目标领域上的预测一致性。最近，Zhuang等人提出基于深度学习自动编码机的迁移学习算法，迁移学习效果得到了进一步提升。

迁移学习已在文本分类、文本聚类、情感分类、图像分类、协同过滤等方面进行了应用研究。

未来展望

迁移学习作为一个新兴的研究领域，还很年轻，主要还是集中在算法研究方面，基础理论研究还很不成熟，因此值得我们进一步的研究。

第一，针对领域相似性、共同性的度量，研究准确的度量方法；第二，在算法研究方面，对于不同的应用，迁移学习算法需求不一样。因此针对各种应用的迁移学习算法有待进一步研究；第三，关于迁移学习算法有效性的理论研究还很缺乏，研究可迁移学习条件，获取实现正迁移的本质属性，避免负迁移；最后，在大数据环境下，研究高效的迁移学习算法尤为重要。目前的研究主要还是集中在研究领域，数据量小而且测试数据非常标准，应把研究的算法瞄准实际应用数据，以适应目前大数据挖掘研究浪潮。尽管迁移学习研究还存在着各种各样的挑战，但是随着越来越多的研究人员投入到该项研究中，一定会促进迁移学习研究的蓬勃发展。