多任务学习综述

An overview of multi-task learning ，Yu Zhang∗ and Qiang Yang∗（Sep, 2017）,COMPUTER SCIENCE
 

ABSRACT
多任务学习(multi-task learning, MTL)是机器学习中一个很有前途的领域，其目的是通过利用多个相关学习任务之间的有用信息来提高它们的性能。本文首先给出了MTL的定义，对MTL进行了概述。然后介绍了多任务监督学习、多任务无监督学习、多任务半监督学习、多任务主动学习、多任务强化学习、多任务在线学习和多任务多视图学习等几种不同的MTL设置。对于每种设置，都给出了代表性的MTL模型。为了加快学习速度，引入了并行和分布式的MTL模型。在计算机视觉、生物信息学、卫生信息学、语音、自然语言处理、网络应用、泛在计算等诸多领域，利用MTL来提高应用的性能，并对一些有代表性的研究成果进行了综述。最后，给出了MTL的最新理论分析。

INTRODUCTION

机器学习利用历史数据中的有用信息，并利用这些信息来帮助分析未来的数据，通常需要大量的标记数据来训练一个好的学习者。机器学习中一个典型的学习者是深度学习模型，它是具有许多隐含层和许多参数的神经网络;这些模型通常需要数百万个数据实例来学习准确的参数。但是，一些应用程序(如医疗图像分析)不能满足这一需求，因为它需要更多的人工来标记数据实例。在这些情况下，多任务学习(MTL)[1]是一个很好的方法，它利用来自其他相关学习任务的有用信息来帮助缓解这种数据稀疏性问题。

作为机器学习中一个很有前途的领域，MTL的目标是利用包含在多个学习任务中的有用信息来帮助更准确地学习每个任务的学习者。基于所有的任务，或者至少是其中的一个子集，都是相关的假设，从经验和理论上来说，联合学习多个任务比单独学习更能获得更好的性能。根据任务的性质，MTL可以分为多任务监督学习、多任务无监督学习、多任务半监督学习、多任务主动学习、多任务强化学习和多任务在线学习。在多任务监督学习中，每个任务(可以是分类问题，也可以是回归问题)都是给定一个由训练数据实例及其标签组成的训练数据集来预测未知数据实例的标签。在多任务无监督学习中，每个任务都是一个聚类问题，目标是识别只包含数据实例的训练数据集中的有用模式。在多任务半监督学习中，每个任务与多任务监督学习相似，不同之处在于训练集不仅包括有标记的数据，还包括无标记的数据。在多任务主动学习中，每个任务都利用未标记的数据来帮助从标记的数据中学习，类似于多任务半监督学习，但方式不同，选择未标记的数据实例来主动查询其标记。在多任务强化学习中，每个任务的目标都是选择行动以获得最大的累积奖励。在多任务在线学习中，每个任务处理顺序数据。在多任务多视图学习中，每个任务处理多视图数据，其中有多组特性来描述每个数据实例.

MTL可以被看作是机器模仿人类学习活动的一种方式，因为人们经常将知识从一个任务转移到另一个任务，反之亦然，当这些任务是相关的。从我们自己的经验来看，打壁球和网球的技巧可以互相帮助。与人类学习相似，同时学习多个学习任务也是有用的，因为一个任务中的知识可以被其他相关的任务利用。

MTL与机器学习的其他领域有关，包括转移学习[2]、多标签学习[3]和多输出回归，但表现出不同的特征。例如，与MTL类似，转移学习也旨在将知识从一个任务转移到另一个任务，但不同之处在于，转移学习希望使用一个或多个任务来帮助一个目标任务，而MTL使用多个任务来互相帮助。当多任务监督学习中的不同任务共享训练数据时，就变成了多标签学