深度学习推荐系统-ESMM模型

选择>>努力>>躺平

已于 2024-09-26 10:41:55 修改

阅读量401

点赞数 6

文章标签：深度学习

于 2024-09-24 15:20:56 首次发布

本文链接：https://blog.csdn.net/qq_33221657/article/details/142489737

版权

背景

文章基于 Multi-Task Learning 的思路，提出一种新的CVR预估模型——ESMM，有效解决了真实场景中CVR预估面临的数据稀疏以及样本选择偏差这两个关键问题。实践出真知，论文一点也不花里胡哨，只有4页，据传被 SIGIR’2018 高分录用。

动机

cvr预估存在2个关键的问题：
样本选择偏差

Sample Selection Bias (SSB)：

对于cvr问题，存在训练样本和预测样本偏差问题。训练时使用点击->转化数据作为训练样本，预测时输入曝光，输出转化概率，

Data Sparsity (DS)：

当前主要的训练样本都是点击->转化数据，样本量十分稀疏

解决方案

模型结构

模型结构图

全样本空间建模：解决BBS问题

公式1：
在这里插入图片描述
公式2：
已知公式1的条件概率表达式，那么公式2的条件概率就很容易得出，公式2的等号左边即为我们的目标pcvr，我们可以通过等号右边的表达式算出，发现等号右边有一个优点就是样本都是曝光数据，这样很好的解决了训练样本偏差问题。

但同时又暴露一个新问题：公式2的分子、分母均是一个十分小的数，如果分开建模会存在相除后的值可能大于1，这不符合cvr的物理意义。

如何解决直接相除不符合cvr的物理意义问题？

使用多目标建模，共享embeding。
模型结构如上图。先看上半部分，两边各有一个DNN塔，分别输出pcvr和pctr，两个结果相乘，就得到了pctcvr。再看下半部分，embedding层采用了共享方式，首先这样做可以大大减少网络的参数量，减少训练成本，更深层次的原因则与梯度回传方式有关。在推荐问题中，正样本的价值是远高于负样本的，因为正样本是带有用户明确的兴趣偏好，是显性的，而负样本则相对较为隐性，不能简单认为用户没有点击一个物品就代表他对这个物品不感兴趣。现在我们只看正样本的梯度回传路径，pctcvr预估的正样本会同时影响左右2部分，而pctr预估的正样本只从右边往下回传。假如底部的embedding层不共享，那左边依然会面临正样本稀疏的问题，权值的训练就会不充分，表达能力就会有欠缺。