深度学习推荐系统-PLE模型

背景

PLE模型是腾讯发表在RecSys ’20上的文章，这篇paper获得了recsys’20的best paper award，也算为腾讯脱离技术贫民的大业添砖加瓦了。

动机

多任务学习中跷跷板现象一直没有很好解决。

VCR任务可理解为视频完成度，假设10min的视频，观看了5min，则VCR=0.5。这是回归问题，并以MSE作为评估指标。VTR表示此次观看是否是一次有效观看，即观看时长是否在给定的阈值之上，这是二分类问题（如果没有观看，样本Label为0），并以AUC为评估指标。两个任务之间的关系比较复杂。 首先，VTR的标签是播放动作和VCR的耦合结果，因为只有观看时间超过阈值的播放动作才被视为有效观看。 其次，播放动作的分布更加复杂，在存在WIFI时，部分场景有自动播放机制，这些样本就有较高的平均播放概率，而没有自动播放且需要人为显式点击的场景下，视频的平均播放概率则较低。可以看到，几乎所有的网络结构都是在一个任务上表现优于单任务模型，而在另一个任务上表现差于单任务模型，这就是所谓的跷跷板现象。MMoE尽管有了一定的改进，在VTR上取得了不错的收益，但在VCR上的收益接近于0。MMoE模型存在以下两方面的缺点，首先，MMoE中所有的Expert是被所有任务所共享的，这可能无法捕捉到任务之间更复杂的关系，从而给部分任务带来一定的噪声；其次，不同的Expert之间也没有交互，联合优化的效果有所折扣。针对以上两点，本文提出了PLE结构，在两个任务上都取得了相对单任务模型不错的收益，有效解决了跷跷板现象。

跷跷板现象：一个模型优化往往可以提高某一个任务的效果，但是会对其他任务带来伤害。
如上图，除了论文的PLE模型，其他模型不是vcr模型效果很好，就是vtr任务效果更好，不能做到2个任务效果都能达到最佳。

解决方案

Customized Gate Control (CGC)基础模型

shared experts 共享专家网络：同MMoE模型一样加入专家网络，只是除了共享专家网络，还有特定任务的网络，用于学习各个任务间的共性特征。

task-specific experts 特定任务专家网络：模型结构和共享专家网络一样，用于从输入中获取和特定任务相关的特征。

gating network 门网络：学习共享专家网络和特定任务专家网络的权重参数，作为上层特定任务塔网络的输入。

task-specific tower network 特定任务塔网络：从共享专家网络学习共性特征，从特定任务专家网络学习和任务相关的特征，通过门控网络，学习共性特征和个性特征的权重，达到个性化和共享性的有效结合

和MMoE的区别：专家网络区分了共享专家网络和特定任务专家网络，上层tower任务相关的门网络权重相比MMoE有差别，MMoE模型会结合所有专家网络并通过门网络学习权重；CGC各自的任务分别学习各自任务的专家网络和共享专家网络，不会学习其他任务专家网络权重。

存在的问题：
单层cgc网络往往无法刻画共享专家网络或者特定任务专家网络对任务的影响，需要多层网络学习，往往效果更佳（transformer也有类似的多层注意力机制）

Progressive Layered Extraction PLE模型

多层的cgc网络可以获取更丰富的特征。
增加了网络的深度让模型更好的学习个性和共性的特征。

损失函数优化

问题1：各任务训练样本空间不一致问题

解决：训练时只选择可使用的空间样本，对于无法使用的样本不保留

问题2：loss weight 十分敏感，不好设置超参数

解决：loss weight设置成可训练参数，让模型自己学习

实验效果

无论是离线训练还是线上A／B，PLE均取得了最佳的效果。
离线效果：


线上效果：

一句话总结

提出多层叠加的cgc网络模型，学习更丰富的共享和个性知识，有效解决跷跷板问题，同时cgc网络本身通过共享网络、特定任务网络、门控网络的有效配合，让单层模型也能较好的学习共享和个性知识，最终在模型效果上取得较大的提升。

参考链接

paper
腾讯的 (PLE) 为什么能获得RecSys2020最佳长论文奖？