推荐算法多任务学习的几种方式

推荐系统中如果只优化ctr，那么有很多已有的ctr预估模型可以做。但是往往一个优秀的推荐系统除了ctr外还有很多优化的目标，比如观看时长、收藏率、转发率等，那么能训练一个模型，对多个目标同时优化呢。
本文将总结一些该方面的成果和实践

阿里 ESMM

论文名：Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate

CVR 是指从点击到购买的转化，传统的 CVR 预估会存在两个问题：样本选择偏差和稀疏数据
（1）样本选择偏差：模型用用户点击的样本来训练，但是预测却是用的整个样本空间。
（2）数据稀疏问题：用户点击到购买的样本太少。
阿里提出了 ESMM 模型来解决上述两个问题：主要借鉴多任务学习的思路，引入两个辅助的学习任务，分别用来拟合 pCTR 和 pCTCVR。

该网络结构共有三个子任务，分别用于输出 pCTR、pCVR 和 pCTCVR

由上面的式子可知，pCVR 可通过 pCTR 和 pCTCVR 推导出来，那么我们只需要关注 pCTR 和 pCTCVR 两个任务即可

对于 pCTR 来说可将有点击行为的曝光事件作为正样本，没有点击行为的曝光事件作为负样本，对于 PCTCVR 来说，将同时有点击行为和购买行为的曝光事件作为正样本，其他作为负样本。
模型的 loss 函数：

另外两个子网络的 embedding 层是共享的，由于 CTR 任务的训练样本量要远超过 CVR 任务的训练样本量，ESMM 模型中 embedding 层共享的机制能够使得 CVR 子任务也能够从只有展现没有点击的样本中学习，从而能够极缓解训练数据稀疏性问题

阿里 DUPN

论文名：Perceive Your Users in Depth: Learning Universal User Representations from Multiple E-commerce Tasks

多任务学习的优势：