【多任务模型】Progressive Layered Extraction: A Novel Multi-Task Learning Model for Personalized（RecSys‘20）

腾讯的视频推荐团队，建模的目标包含用户的多种不同的行为：点击，分享，评论等等。每次请求，候选的排序分根据公式计算：
$$\text{ score }=pVT{R}^{wVTR}\times pVC{R}^{wVCR}\times pSH{R}^{wSHR}\times \dots \times p_{CMR}^{wCM}\times f(\text{ video }len)$$
其中w是超参，表示相对重要性

多目标之间经常会有比较复杂的关系，因此同时建模多目标经常会出现跷跷板的现象，即多个任务negative transfer的问题：

GCG

MMOE理论上存在一种可以自动选特征的最优情况，但这个情况依赖：1、gate能不能选出来；2、也依赖expert能不能产生多样性的特征（所有expert输出类似，无可奈何）。

因此本文提出的Customized Gate Control把这个问题变得简单了一些，把专家分为大同行和小同行，既有共享的expert们，每个task也有专门的expert们，难度小了一些。

这样EA只被taskA训，EB只被taskB训，至少可以保底。

input是x，任务k的输出是
$$y^k(x)=t^k(g^{}$$