多目标-PLE显式细化expert表征

        多目标模型学习的难点是task之间的复杂关联，存在拉扯和跷跷板现象。基于此，MMoE提出了expert的结构设计，通过gate自适应地学习不同task之间的共性和特性，为业界多目标建模提供了一种模型结构的设计方向。由于MMoE结构中各个expert地位相当，对应不同的子空间，因此各个task对所有task共性和特性的学习，主要依赖gate网络，而gate的学习采用自适应的机制，对共性和特性的提取容易存在“惰性”。

        为了加强模型对task之间共性和特性的表达能力，PLE模型(Progressive Layered Extraction)提出在expert层面进行优化，对不同的expert赋予“task共享”和“task独有”两种角色，使不同expert针对性地学习task共性和特性，从而提高模型表达能力。该方法出自腾讯PCG，发表于RecSys2020，并获得最佳长论文奖。

1 提出背景

推荐场景用户行为丰富，不同的用户行为表征了用户不同维度和不同程度的兴趣，因此排序中可定义和使用丰富的任务。不同任务之间的关系复杂，有些任务相关性强，有些任务相关性弱，甚至存在一些相互冲突的任务，有些任务在用户行为上存在依赖关系，任务之间的复杂关系提高了模型的学习难度。

在多任务学习过程中，经常出现负迁移现象和跷跷板现象。任务之间的矛盾性和不相关性容易导致负迁移现象，即联合学习时提某个任务的信息导致其它任务的负增益。有些任务之间的关系不像强相关或矛盾这样明显，而是更模糊的关系，这样容易导致跷跷板现象，即某些任务的正向收益导致另一些任务的负向收益。

PLE论文在庞大的工业数据集上使用多种多任务模型，验证了任务之间的负迁移和跷跷板现象，如图1所示。相比于单个任务学习&#x