Multi-task learning（多任务学习）简介

1. 什么是Multi-task learning？

Multi-tasklearning （多任务学习）是和single-task learning （单任务学习）相对的一种机器学习方法。拿大家经常使用的school data做个简单的对比，school data是用来预测学生成绩的回归问题的数据集，总共有139个中学的15362个学生，其中每一个中学都可以看作是一个预测任务。单任务学习就是忽略任务之间可能存在的关系分别学习139个回归函数进行分数的预测，或者直接将139个学校的所有数据放到一起学习一个回归函数进行预测。而多任务学习则看重任务之间的联系，通过联合学习，同时对139个任务学习不同的回归函数，既考虑到了任务之间的差别，又考虑到任务之间的联系，这也是多任务学习最重要的思想之一。

 

2. Multi-task learning的优势

Multi-tasklearning的研究也有大概20年之久，虽然没有单任务学习那样受关注，但是也不时有不错的研究成果出炉，与单任务学习相比，多任务学习的优势在哪呢？上节我们已经提到了单任务学习的过程中忽略了任务之间的联系，而现实生活中的学习任务往往是有千丝万缕的联系的，比如多标签图像的分类，人脸的识别等等，这些任务都可以分为多个子任务去学习，多任务学习的优势就在于能发掘这些子任务之间的关系，同时又能区分这些任务之间的差别。

 

3. Multi-tasklearning的学习方法

目前多任务学习方法大致可以总结为两类，一是不同任务之间共享相同的参数（common parameter），二是挖掘不同任务之间隐藏的共有数据特征（latent feature）。下面将简单介绍几篇比较经典的多任务学习的论文及算法思想。

A. Regularizedmulti-task learning

这篇文章很有必要一看，文中提出了基于最小正则化方程的多任务学习方法，并以SVM为例给出多任务学习支持向量机，将多任务学习与经典的单任务学习SVM联系在一起，并给出了详细的求解过程和他们之间的联系，当然实验结果也证明了多任务支持向量机的优势。文中最重要的假设就是所有任务的分界面共享一个中心分界面，然后再次基础上平移，偏移量和中心分界面最终决定了当前任务的分界面。

 

B. Convex multi-taskfeature learning

本文也是一篇典型的多任务学习模型，并且是典型的挖掘多任务之间共有特征的多任务模型，文中给出了多任务特征学习的一个框架，也成为后来许多多任务学习参考的基础。

 

C. Multitasksparsity via maximum entropy discrimination

这篇文章可以看作是比较全面的总结性文章，文中总共讨论了四种情况，feature selection, kernel selection,adaptive pooling and graphical model structure。并详细介绍了四种多任务学习方法，很具有参考价值。

本文只是对多任务学习做了简单的介绍，想要深入了解的话，建议大家看看上面提到的论文。

 

Reference

[1] T. Evgeniouand M. Pontil. Regularized multi-task learning. In Proceeding of thetenth ACM SIGKDD international conference on Knowledge Discovery and DataMining, 2004.

[2] T. Jebara. MultitaskSparsity via Maximum Entropy Discrimination. In Journal of Machine LearningResearch, (12):75-110, 2011.

[3] A. Argyriou,T. Evgeniou and M. Pontil. Convex multitask feature learning. In MachineLearning, 73(3):243-272, 2008.

中国科学技术大学多媒体计算与通信教育部-微软重点实验室  

                                                                                                                      MultiMedia Computing Group

我们的主页