1.1.4. Multi-task Lasso（多任务 Lasso）（多任务学习）

1.1.4. Multi-task Lasso

说实话，在最开始，我只把多任务 Lasso当作Lasso的一种应用于多输出回归的一种方式而已；甚至想把它和弹性网络那几章混在一起讲。但是我又按捺不住性子，上网查了查，想要切实了解一下Multi-task Lasso，没想到还真让我挖到了一个大坑。哈哈哈哈哈哈哈哈，别急，容我慢慢展开！

一、简介

简单理解，Multi-task Lasso只是普通Lasso的豪华版，可以应用多任务回归。

可是，这里面的多任务到底指的是什么？是我们之前说的多分类对应的多回归吗？显然不是。

我们来看这句话："The constraint is that the selected features are the same for all the regression problems, also called tasks."

翻译不太靠谱，我来解释一下：

1. 求解Multi-task Lasso和其它求解其他模型一样，它是有限制的，这种限制在算法里的体现就是约束，在目标函数矩阵里的体现是秩，简称特征
2. Multi-task Lasso的限制有些不太一样：用于约束的主体依然是特征（selected features ），但是，这些特征却不只各自作用于各自的模型，而是作用于每一个回归模型（多回归中的每一个）
3. 这里的多回归模型all the regression problems也叫做tasks

（多回归不太理解的可以参照博客如何把分类问题转化为回归问题解决（分类与回归））

于是，我们不得不引出一个“高深”的领域

二、多任务学习（Multi-Task Learning, MTL）

多任务学习被广泛作用于深度学习领域。
老规矩，我先简单介绍一下，供大家简单了解。

2.1 归纳迁移之迁移

多任务学习是一种归纳迁移机制。

人类对世界的认知是循序渐进的，当人类学习一样新东西时，我们不会从头开始，而是基于以前的认知去理解当前事物。比如“跑”，人不是学会了“走”之后再单独练习“跑”的，而是基于“走”（把“走”的经验与动作迁移到“跑”上），再学习“跑”。

对于机器，我们也希望它们能把一部分习得的经验用于另一方面（比如在学习桌子时应用学习椅子时获得的经验），这样可以大幅度提高模型性能。

这就是所谓的“迁移”

2.2 归纳迁移之归纳

“迁移”不是想迁就能迁的，知识的迁移