(未经允许,不得转载)
本文结合各个博客以及论文整理的资料,如有版权问题,请告知。
首先多任务学习的定义:我们常说的多任务学习其实有3种情况:
1) 同一dataset,要解决不同的task。
例如:针对一篇文章进行分词、词性标注、句法分析等,所用的数据都是一篇文章,但是对应的task不同。
2)不同的dataset,解决相同的task。
例如:对不同学校的学生成绩进行预测问题。
本文主要介绍的是情况2所对应的算法的演变。如需了解具体的算法实现以及计算过程,请去看论文。
本文主要的衍生以04的Regularized Multi–Task Learning为起始。
在最初的假设中:对于不同的dataset的task存在这共同的联系。以回归模型类例:
每个任务的变量的权重由公共联系以及各自的特性组成即:
Wt=W0+Vt
其中
W0
是公共权重,
Vt
是每个task自身的特性。
因此目标函数为:
其中
此文章中的假设为所有的task之间的feature都是存在相关联,但是实际情况中并不一定。因此有人提出通过惩罚函数的一范数来使得feature之间的联系稀疏化。文章连接:Multi-Task Feature Learning
假设:不同任务之间的只有一小部分的feature存在关联性。
目标函数:
其中
⟨wt,xti⟩=∑dj=1wtj∗xtij
T为Task的个数,m为没个Task中样本的个数.
wt=∑iaitui
(未完待续)