迁移学习简介及在深度学习中的应用

Why

人们可以将已经从一项任务中学到的知识更快，更好地应用到另一项任务的想法，导致了对转移学习的研究。在NIPS-1995研讨会“学习中学习” [10]中讨论了这种动机，以讨论知识整合和转移的进展。Ng-Andrew Ng最近在NIPS-2016的一个名为“使用深度学习构建AI应用程序的要点”的教程中加强了该话题，他提到转移学习将成为机器学习商业成功的下一个推动力[11]。

名称

自1990年代以来，转移学习的概念已在文献中以不同的名称进行了讨论：学习学习[10]，终身学习[12]，知识转移[13]，归纳转移[14]，多任务学习[15] ]，知识整合[16]，上下文相关学习[17]，基于知识的归纳偏差[18]，元学习[19]和增量或累积学习[20]。实际上，所有这些方法都旨在从一个或多个任务中提取知识并将其应用于另一项新任务，但多任务学习通常会同时学习这两个任务。

定义

图显示了两个不同任务的传统学习过程与使用转移学习方法学习的相同任务之间的区别，其中任务1使用大数据集进行了充分训练，而任务2使用从任务1获得的知识来提高准确性并更快地学习。