多任务学习：Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized

出处：[腾讯]RecSys2020最佳长论文
参考：https://mp.weixin.qq.com/s/IEtlu2AhvwI-W6lZY1j4NQ

1、论文贡献
论文对多任务学习方向，多个任务在NN模型中的架构形式做了探索。具体分为单层和多层两种结构。
2、单层的几种结构如下：
其中MMOE为google提出的专家模型，这里作为强基线，CGC为作者提出的模型，可以看出主要区别在于，作者的模型中每个任务同时有共享的专家和独有的专家，而MMOE全部是共有的专家，作者认为这样可以拟合任务间复杂的相关性（相近的任务共享参数可以提高性能，不相近的任务会引入噪声降低性能，同时有共享参数和独有参数可以环境这种噪声，即论文说的跷跷板现象）。

3、多层的结构如下:
多层可以近似认为是单层结构基础上进行堆叠，具体结构如下：