多任务学习(Multi-task Learning)在推荐系统中的应用

概念定义

多任务学习：基于共享表示，把多个相关的任务放在一起学习的一种机器学习方法。多任务起源于迁移学习，利用其它任务的知识，区别在于同时学习多个任务。
动机：多任务学习有效，是因为它是建立在多个相关的，具有共享表示的任务基础之上的。当不同的学习任务之间较为相关时，多任务学习可以通过任务之间的信息共享，来提升学习的效率。任务之间的相关性对学习效率影响大，有时甚至会发生负迁移。

参数共享方法

多任务学习，有共享表示。从共享方式上分为下面两种：

强参数共享

不同任务间的参数部分或者全部是一样的。例如常见的是浅层表示相同，例如embedding部分，上层不同任务有不同的参数对应到输出，例如esmm。在更高级的结构mmoe/ple等中，上层不同的参数最后还会有个融合过程，不是完全孤立。

弱参数共享

参数不保证强一致，通过不同任务间的diff来约束。常用的是两边参数算一个L2来当做模型正则化项，或者作为辅助loss来指导学习。

模型结构发展

推荐领域的多任务学习多采用强参数共享。从最早的共享参数到后面任务的独特参数，从最早的单层模型到后面的多层模型，下面两张图罗列了推荐广告领域的多任务架构发展方向。对于经典的esmm，mmoe和ple我们详细分析下。

<