[ML] 多任务学习以及流行正则化

Andrew Zhang
May 24, 2016

线性回归容易因为过拟合而出现高方差，因此为了控制模型复杂度往往在线性回归的时候添加很多正则项，众所周知的就有$L0,L1,L2$，$L1$范式效果是使得参数每一项的值向0缩减，而$L0,L2$范式则是通过将一些参数的权值归零来缩减特征的个数。

一、多任务学习的提出
在多任务学习中，每一个任务下数据特征的维数相等，并且对应于相同的意义。
基于$L1$范式可以缩减特征的性质，Multi-task feature learning via efficient l2, 1-norm minimization这篇文章将其扩展到了多任务学习中。
其中使用的目标函数表达式为
$\min_W \frac{1}{2}\sum_{j=1}^{k}||y_j-A_jw_j||^2+\rho||W||_{2,1} \tag{1-1}$
其中$w_j \in R^{n \times 1}$相当于普通线性回归里面的权重，$W=[w_1,w_2,...,w_k]_{n \times k}是多任务学习下的权重矩阵$,$||W||_{2,1}=\sum_{i=1}^{n}||w^i||$，而$w^i=[W_{i,1},W_{i,2},...,W_{i,k}]$。这里相当于对参数矩阵$W$进行了一次按行稀疏化，也就是按行进行特征选择。

二、多任务学习之任务间正则化约束
考虑到不同任务间的数据表示的是同一个状态，Inter-modality relationship constrained multi-modality multi-task feature selection for Alzheimer’s Disease and mild cognitive impairment identification这篇文章提出了对任务间的特征进行流形相似度约束，即利用当前该任务的线性回归权重$w_j$对该任务下的特征进行映射，要求对于同一个样本不同任务下映射后的点的距离要相近。即
$D=\sum_{i=1}^{n} \sum_{j=1}^{m} \sum_{k=1, k \neq j}^{m} \frac{||x_i^jw^j-x_i^kw^k||_F^2} {||x_i^j-x_i^k||_F^2} \tag{2-1}$
再加上多任务学习的约束条件，这篇文章的总的约束目标函数就是
$\min_w \sum_{j=1}^{m} ||X^jw^j-y^j||_F^2+\lambda_1||W||_{2,1}+\lambda_2D \tag{2-2}$
其中$n$表示样本个数，$m$表示任务个数，其它表示方式虽有不同但类似不再详述。

三、多任务学习之样本间正则化约束
以往的的话如果仅仅有一个任务下采集到的数据，我们往往对单个任务下的数据建立分类模型，Manifold regularized multitask feature learning for multimodality disease classification这篇文章与上一篇类似，利用对应任务下线性回归的参数$w^j$，将这个任务下的特征进行映射，要求对于同一个任务来说，映射后这个任务下类别相同的点映射后应该离得尽量近。所以有如下的正则化约束因子，
$\min_W \sum_{m-1}^{M} \sum_{i,j}^{N} S_{ij}^m||f(x_i^m)-f(x_j^m)||_2^2 \tag{3-1}$
并且公式(3-1)等价于
$\min_w 2\sum_{m=1}^{M}(X^mw^m)^TL^m(X^mw^m) \tag{3-2}$
其中如果$x_i^m$和$x_j^m$同一类的话$S_{ij}^m=1$否则$S_{ij}^m=0$.对于公式(3-1)化简得到的公式(3-2)主要说说这个$L^m$，容易发现
$L^m=D^m-S^m \tag{3-3}$
其中$D^{m}$是一个对角矩阵，$D_{ii}^{m}=\sum_{j=1}^{N}S_{ij}^m$。
这样在结合多任务学习的经典公式(1-1)就得到这篇文章里面的目标约公式了
$\min_W \frac{1}{2} \sum_{m=1}^{M} ||\Upsilon-X^mw^m||_2^2+\beta||W||_{2,1}+\gamma \sum_{m=1}^{M}(X^mw^m)^TL^m(X^mw^m) \tag{3-4}$
这篇文章在到这儿以后并没有结束，而是基于公式(3-3)的几何意义，将其扩展到了半正定的情况。其中，修改后的
$S_{ij}^m=exp(-dist(x_i^m,x_j^m)/t) \tag{3-5}$
对角矩阵变为了有标签的为1，无标签的为0.

四、多任务学习的分类器—多核学习
对于多任务数据，可以利用SVM对不同的任务分别建立核函数然后进行分类，这个就不再说了，具体可以参考我的SVM相关博客，也可以参考最后一篇参考论文。

参考论文：
1. Multi-task feature learning via efficient l2, 1-norm minimization
2. Inter-modality relationship constrained multi-modality multi-task feature selection for Alzheimer’s Disease and mild cognitive impairment identification
3. Manifold regularized multitask feature learning for multimodality disease classification
4. Ensemble sparse classification of Alzheimer’s disease