[论文素材]A Comprehensive Survey on Transfer Learning

ella_2023

于 2023-04-25 16:32:53 发布

阅读量305

点赞数

文章标签：机器学习迁移学习

本文链接：https://blog.csdn.net/weixin_48474362/article/details/130366439

版权

[1911.02685] A Comprehensive Survey on Transfer Learning (arxiv.org)

发布时间：2020 年 6 月 23 日

（微软翻译）

摘要

迁移学习旨在通过转移不同但相关的源领域中包含的知识来提高目标学习者在目标领域的表现。通过这种方式，可以减少对大量目标域数据的依赖，以构建目标学习器。由于广泛的应用前景，迁移学习已成为机器学习中一个热门且有前途的领域。尽管已经有一些关于迁移学习的有价值且令人印象深刻的调查，但这些调查以相对孤立的方式引入了方法，并且缺乏迁移学习的最新进展。由于迁移学习领域的快速扩展，全面回顾相关研究既必要又具有挑战性。本调查试图对现有的迁移学习研究进行连接和系统化，并对迁移学习的机制和策略进行全面的总结和解读，可能有助于读者更好地了解当前的研究现状和思路。与以往的调查不同，本文从数据和模型的角度回顾了四十多种具有代表性的迁移学习方法，特别是同质迁移学习方法。还简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能，使用了二十多个具有代表性的迁移学习模型进行实验。这些模型在三个不同的数据集上执行，即亚马逊评论、路透社-21578和Office-31。实验结果表明，在实践中为不同的应用选择合适的迁移学习模型具有重要意义。

====================================

介绍

机器学习的理想场景是存在大量标记的训练实例，这些实例与测试数据的分布相同。但是，在许多情况下，收集足够的训练数据通常很昂贵、耗时，甚至不切实际。
半监督学习可以通过放宽对海量标记数据的需求来部分解决上面这个问题。通常，半监督方法只需要有限数量的标记数据，并且它利用大量未标记的数据来提高学习精度。但在许多情况下，未标记的实例也很难收集，这通常使生成的传统模型不令人满意。
迁移学习侧重于跨领域转移知识，是解决上述问题的一种有前途的机器学习方法。
如果领域之间几乎没有共同点，知识转移就可能不成功。例如，学习骑自行车并不能帮助我们更快地学会弹钢琴。
领域之间的相似性并不总是有助于学习，因为有时相似性可能会产生误导。例如，尽管西班牙语和法语彼此关系密切，并且都属于罗曼语组，但学习西班牙语的人可能会在学习法语时遇到困难，例如使用错误的词汇或共轭。这是因为以前在西班牙语方面的成功经验可能会干扰法语中单词的形成、用法、发音、共轭等的学习。
在迁移学习领域，如果目标学习者受到迁移知识的负面影响，这种现象称为负迁移
是否会发生负迁移可能取决于几个因素，例如源领域和目标领域之间的相关性，以及学习者跨领域寻找知识中可转移和有益部分的能力。在[3]中，给出了负转移的正式定义和一些分析。
粗略地说，根据领域之间的差异，迁移学习可以分为：
- 同质迁移学习。用于处理域具有相同特征空间的情况。在同质迁移学习中，一些研究假设域仅在边际分布上有所不同。因此，他们通过校正样本选择偏差或协变量偏移来调整域。然而，这种假设在许多情况下并不成立。例如，在情感分类问题中，一个词在不同的领域可能具有不同的含义倾向。这种现象也称为上下文特征偏差。为了解决这个问题，一些研究进一步调整了条件分布。
- 异构迁移学习。是指在域具有不同特征空间的情况下进行的知识迁移过程。除了分布适应之外，异构迁移学习还需要特征空间适应，这使得它比同质迁移学习更复杂。
在本次调查中更关注同质迁移学习。
本调查未涵盖一些有趣的迁移学习主题，例如强化迁移学习 [8]、终身迁移学习 [9] 和在线迁移学习 [10]。
贡献：
- 介绍和总结了四十多种具有代表性的迁移学习方法，可以给读者一个全面的迁移学习概述。
- 进行实验以比较不同的迁移学习方法。直观地展示了二十多种不同方法的性能，然后进行分析，这可能对读者在实践中选择合适的方法具有指导意义。

====================================

介绍

介绍了一些与迁移学习相关的领域。阐明了它们与迁移学习之间的联系和区别。

半监督学习[11]：是一种介于监督学习（具有完全标记的实例）和无监督学习（没有任何标记的实例）之间的机器学习任务和方法。通常，半监督方法利用大量未标记的实例和有限数量的标记实例来训练学习者。半监督学习放宽了对标记实例的依赖，从而降低了昂贵的标记成本。请注意，在半监督学习中，标记和未标记的实例都来自相同的分布。相反，在迁移学习中，源域和目标域的数据分布通常是不同的。许多迁移学习方法吸收了半监督学习的技术。半监督学习的关键假设，即平滑度、聚类和流形假设，也在迁移学习中使用。值得一提的是半监督迁移学习是一个有争议的术语。原因是标签信息在迁移学习中是否可用的概念是模糊的，因为源域和目标域都可能涉及。
多视图学习[12]：多视图学习侧重于多视图数据的机器学习问题。视图表示不同的功能集。关于多个视图的一个直观示例是，可以从两个不同的视角描述视频对象，即图像信号和音频信号。简而言之，多视图学习从多个视图描述对象，从而产生丰富的信息。通过正确考虑来自所有视图的信息，可以提高学习者的表现。在多视图学习中采用了几种策略，例如亚空间学习，多核学习和共同训练。一些迁移学习方法也采用了多视图技术。例如，Zhang等人提出了一个多视图迁移学习框架，该框架强加了多个视图之间的一致性[15]。杨和高整合了跨不同视角的多视图信息知识转移领域。Feuz和Cook的工作引入了多视图迁移学习方法用于活动学习，在异构传感器平台之间传输活动知识。
多任务学习[18]：多任务学习的思想是共同学习一组相关任务。更具体地说，多任务学习通过利用任务之间的相互联系来加强每个任务，即同时考虑任务间相关性和任务间差异。通过这种方式，增强了每个任务的泛化。迁移学习和多任务学习之间的主要区别在于，前者转移相关领域中包含的知识，而后者通过同时学习一些相关任务来转移知识。换句话说，多任务学习对每个任务的关注度相同，而迁移学习对目标任务的关注程度高于源任务。迁移学习和多任务学习之间存在一些共同点和关联。他们都旨在通过知识转移来提高学习者的表现。此外，他们采用一些类似的策略来构建模型，例如特征转换和参数共享。请注意，一些现有的研究同时利用迁移学习和多任务学习技术。例如，Zhang等人的工作采用了多任务和迁移学习技术进行生物图像分析[19]。Liu等人的工作提出了一种基于多任务学习和多源的人类行为识别框架。迁移学习[20]。

====================================

Overview

====================================

总结

在这篇调查论文中，我们从数据和模型的角度总结了迁移学习的机制和策略。
该调查给出了关于迁移学习的明确定义，并设法使用统一的符号系统来描述大量具有代表性的迁移学习方法和相关工作。
我们基本上介绍了基于数据解释和基于模型的解释的迁移学习的目标和策略。基于数据的解释从数据的角度介绍了目标、策略和一些迁移学习方法。同样，基于模型的解释从模型层面引入了迁移学习的机制和策略。
还介绍了迁移学习的应用。最后，通过实验评估了代表性迁移学习模型在对象识别和文本分类两个主流领域的性能。
还给出了模型的对比，反映出迁移学习模型的选择是一个重要的研究课题，也是实际应用中的一个复杂问题。
迁移学习领域的未来研究有几个方向。
- 首先，迁移学习技术可以进一步探索并应用于更广泛的应用。在更复杂的场景中，需要新的方法来解决知识转移问题。例如，在实际方案中，有时与用户相关的源域数据来自另一家公司。在这种情况下，如何在保护用户隐私的同时转移源域中包含的知识是一个重要问题。
- 其次，如何衡量跨域转移性，避免负转移也是一个重要问题。虽然已经有一些关于负转移的研究，但负转移仍需要进一步的系统分析[3]。
- 第三，迁移学习的可解释性也需要进一步研究[216]。
- 最后，可以进一步开展理论研究，为迁移学习的有效性和适用性提供理论支持。作为机器学习中一个受欢迎且有前途的领域，迁移学习比传统机器学习显示出一些优势，例如更少的数据依赖性和更少的标签依赖性。我们希望我们的工作能够帮助读者更好地了解研究现状和研究思路。

（未完）