A Survey on Transfer Learning

摘要

        在一些机器学习和数据挖掘算法的一个主要假设是训练和将来数据必须是有相同特征空间和有相同分布。然而，在一些现实世界应用中，这个假设是不成立的。例如，我们有时候有一个分类任务对一个领域感兴趣，但我们只有另外一个感兴趣领域的有效训练数据，后者的数据可能是不同特征空间或者不同数据分布。在这种情况下，如果知识迁移可以成功，将极大提高学习的性能，通过避免较昂贵的数据标签支持。在最近几年，迁移学习已经作为一个新的学习框架去解决这个问题出现。这个调查集中在分类和审查当前进度在迁移学习对于分类，回归，聚集问题。在这个调查，我们讨论迁移学习和其它相关机器学习技术的关系，例如一个领域适应，多任务学习和样本选择偏差，协变量偏移。我们也探索一些将来潜在的问题在迁移学习研究中。

关键字：迁移学习，调查，机器学习，数据挖掘

介绍

        数据挖掘和机器学习技术已经取得重大成功在一些知识工程领域，包括分类，回归，聚类。然而，一些机器学习方法只在一个共同假设条件下可以运行的很好：训练和测试数据在相同特征空间和相同分布下进行。当分布改变，大部分数据模型需要抓取收集新的训练数据进行重建。在一些现实世界应用中，它是昂贵或者不可能去重新收集需要的数据和重建模型。它将是比较好的去减少需求和支持重新收集训练数据。在这种情况下，知识迁移和迁移学习在任务领域之中将是可取的。

        在知识管理的一些例子中，可以发现迁移学习是真的有用的。一个例子是Web文件分类，我们的目标是分类一个给定的Web文件到几个预先定义的种类。作为一个例子，在Web文件分类的领域，标签样本可能是大学Web网页，联系分类信息获得通过手工标注提供。对于一个分类任务在一个新创建网站上，数据特征或者数据分布可能是不同的，这里可能是缺少标签训练数据。作为一个结果，我们也许不能够直接应该Web网页分类学习在大学网站去新的网站。在这种情况下，它将是有用的，如果我们能够转化这个分类知识去新的领域。

 

                                               

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料