【推荐系统】多任务学习之ESMM模型

已于 2023-03-06 00:00:46 修改
阅读量1.4k 收藏 2
点赞数 3
分类专栏： 推荐算法 深度学习 文章标签： 推荐算法 深度学习
于 2022-06-27 21:06:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/125447794
版权
ESMM模型通过引入CTR和CTCVR任务，解决了CVR预估中的样本选择偏差和数据稀疏问题。模型利用多任务学习，通过底层共享特征和独立的Tower网络，实现曝光、点击、转化的联合建模，提高预测效果。通过共享embedding层，缓解训练数据稀疏性，同时在完整样本空间建模，避免样本选择偏差。
摘要由CSDN通过智能技术生成

学习总结

  • ESMM首创了利用用户行为序列数据在完整样本空间建模，并提出利用学习CTR和CTCVR的辅助任务，迂回学习CVR，避免了传统CVR模型经常遭遇的样本选择偏差和训练数据稀疏的问题，取得了显著的效果。
  • ESMM解决了真实场景中CVR中的SSB和DS问题。CVR（Conversion rate）转化率：衡量CPA广告效果的指标，用户点击广告到成为一个有效的激活（如注册额或者成为付费用户）的转化率，所以CVR=转化量 / 点击量。
    • SSB样本选择偏差问题：传统的CVR模型是以点击数据为训练集，点击并转化为正例，点击未转化为负例，但是训练好的模型在实际使用时，是对整个空间的样本数据进行预估（而非对只对点击样本），即训练数据和实际要预测的数据来自不同的分布。
    • DS：很多时候给CVR训练数据的点击样本远小于CTR预估使用的曝光样本。
  • 正因为点击->转化，是两个强相关的连续行为，ESMM作者为了结合两个行为，在整个空间上进行训练和预测，所以多任务学习MTL。
  • 下一篇MMOE还在补中。

文章目录

一、多任务模型

多任务学习模型默认是multi-label 多标

了解本专栏 订阅专栏 解锁全文 超级会员免费看
山顶夕景
关注
专栏目录
订阅专栏
推荐模型复现（四）：多任务模型ESMM、MMOE
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
06-27 2150
本章为推荐模型复现第四章，使用torch_rechub框架进行模型搭建，主要介绍推荐系统召多任务模型ESMM、MMOE，包括结构讲解与代码实战，参考其他文章。
推荐模型之多任务模型：ESMM、MMOE
A496608119的博客
06-23 9957
的全称是Entire Space Multi-task Model (ESMM)，是阿里巴巴算法团队提出的多任务训练方法。其在信息检索、推荐系统、在线广告投放系统的CTR、CVR预估中广泛使用。以电商推荐系统为例，最大化场景商品交易总额（GMV）是平台的重要目标之一，而GMV可以拆解为流量×点击率×转化率×客单价，因此转化率是优化目标的重要因子之一； 从用户体验的角度来说转换率可以用来平衡用户的点击偏好与购买偏好。，其存在如下问题：ESMM模型利用用户行为序列数据在完整样本空间建模，避免了传统CVR模型经常
MMOE+ESSM
weixin_44880995的博客
08-20 689
另外，Gate网络最后的输出会经过softmax进行归一化。Gate网络最后一层全连接层经过softmax归一化后的输出，对应作用到每一个expert上（图2中GateA输出的红、紫、绿三条线分别作用与expert0，expert1，expert2），注意是通过广播机制作用到expert中的每一个隐藏单元，比如红线作用于expert0的2个隐藏单元。这里gate网络的作用非常类似于attention机制，提供了权重。
ESMM模型
Rory的博客
01-15 695
ESMM 在 “曝光 -> 点击 -> 转化” 链路上，CTR 预估任务预估每个曝光被用户点击的概率，CVR 预估任务预估每个点击被转化的概率。和 CTR 相比，CVR 更关注预测用户有没有商品购买、游戏注册、表单登记等转化行为。 常规的 CVR 预估模型采用和 CTR 预估模型类似的深度学习方法，但是在具体应用中面临几个特殊的问题： 样本选择偏差 sample selection bias:SSB 问题：传统的 CVR 模型是在点击样本上训练的，但是推断是在曝光样本上进行的。这导致
深度模型（十）：ESMM
Jony0917的专栏
08-30 7260
摘要 准确的估计CVR(点击后转化率)对于推荐和广告这类排序系统来说非常关键。传统的CVR模型采用流行的深度学习方法达到目前最好的效果。但是也遇到了一些问题。比如，传统的CVR模型采用点击后的数据训练，但是要在整体数据上做预测。这导致样本选择偏差问题。另外，还存在比较严重的数据稀疏问题。本文我们从一个全新的角度建模CVR预估问题，充份利用用户行为序列：曝光 -> 点击 -> 转化。ES...
推荐系统CTR(CVR)预估模型(多任务学习)之ESMM
热门推荐
gq的博客
05-18 1万+
 esmm模型是阿里妈妈基础算法团队发表在SIGIR 18上的一篇论文，用来做转化率预估。  整篇论文非常简单，创新点也很通俗易懂，转化率预估目前主要存在两个难点：1、sample selection bias, conversion CVR model are trained on dataset composed of clicked impressions, while are util...
多任务学习——【SIGIR 2018】ESMM
05-11 198
由于CTR任务的训练样本量要大大超过CVR任务的训练样本量，ESMM模型中特征表示共享的机制能够使得CVR子任务也能够从只有展现没有点击的样本中学习，从而能够极大地有利于缓解训练数据稀疏性问题。点击—>转化，本身是两个强相关的连续行为，作者希望在模型结构中显示考虑这种“行为链关系”，从而可以在整个空间上进行训练及预测。在整个样本空间建模，而不像传统CVR预估模型那样只在点击样本空间建模。
多任务学习模型之 ESMM 介绍与实现
阿里云技术
01-04 798
文章基于 Multi-Task Learning (MTL) 的思路，提出一种名为ESMM的CVR预估模型，有效解决了真实场景中CVR预估面临的数据稀疏以及样本选择偏差这两个关键问题。后续还会陆续介绍MMoE，PLE，DBMTL等多任务学习模型。
多任务学习模型之ESMM介绍与实现
阿里云云栖号
01-04 1341
简介：本文介绍的是阿里巴巴团队发表在 SIGIR’2018 的论文《Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate》。文章基于 Multi-Task Learning (MTL) 的思路，提出一种名为ESMM的CVR预估模型，有效解决了真实场景中CVR预估面临的数据稀疏以及样本选择偏差这两个关键问题。后续还会陆续介绍MMoE，PLE，DBMTL等多任务学习模型。 多任
【CTR排序】多任务学习之MMOE模型
发现问题，并解决问题，批判性思维
09-18 1476
如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。
全空间多任务模型(ESMM)
拾遗
11-05 714
今天分享的论文是ESSM，https://arxiv.org/pdf/1804.07931.pdf
每周一文（三）阿里ESMM模型
更木的博客
03-20 481
应用场景 淘宝购物的流程简化为点击->购买，该模型的目标为提升购买率(专业名词为转化率conversion rate)，数据整体描述为： S={(xi,yi→zi)}∣i=1NS = \{ (x_i,y_i\rightarrow z_i)\}|_{i=1}^NS={(xi​,yi​→zi​)}∣i=1N​ 其中xix_ixi​为特征空间，yiy_iyi​(点击)和ziz_izi​(购买)为标签空间。 算法原理 传统CVR模型是直接预估CVR的，但有如下两个缺点： 样本偏差：模型学习时输入样本为点击样
ESMM：一个智能的搜索引擎增强模型
gitblog_00089的博客
04-22 343
ESMM：一个智能的搜索引擎增强模型 项目地址:https://gitcode.com/ttjjlw/esmm ESMM 是一个基于深度学习的搜索引擎匹配和排序模型。该项目旨在提升搜索引擎的精准度，通过理解用户的查询意图和网页的内容相关性，提供更加精确的搜索结果。 项目简介 ESMM（Enhanced Search Model with Memory Mechanism）结合了记忆网络（Memor...
深度学习推荐系统-ESMM模型
最新发布
qq_33221657的博客
09-24 401
通过共享embeding+多目标框架，充分利用大量训练样本，完美解决ds+bbs问题，最终达到当时sota效果。
ESMM模型学习
AcceptedLin的博客
08-26 835
ESMM模型学习 基于阿里的ESMM模型， 待补充 参考：
ESMM模型笔记
whgyxy的博客
09-13 1621
ESMM模型笔记 背景 ESMM模型是阿里算法团队关于CVR预估提出的新模型，思路很新颖，对于CVR预估有很强的参考意义。而且里面的多个目标其实可以根据实际业务进行替换，可以快速尝试应用，想象力空间很大。 CVR任务面临的典型挑战： 1. 样本选择偏差（SSB） 传统的CVR训练用的是点击数据，用户点击后未转化为负样本，点击后转化为正样本。但点击事件仅仅是整个曝光空间的一个子集，数据分布是不一致的，模型的泛化能力就会受到影响。 2. 数据稀疏问题（DS） 点击率一般是比较低的，曝光量是远远大于点击量的，以
ESMM模型与ESM2模型总结
rotation博客
10-20 5194
ESSM模型 2018 阿里妈妈 SIGIR 原文链接：Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate 该论文基于Multi-Task Learning 的思路，提出一种新的CVR预估模型，有效解决了真实场景中CVR预估面临的数据稀疏以及样本选择偏差这两个关键问题。 Sample Selection Bias (SSB)：转化是在点击之后才“有可能”发生的动作，传统
经典论文阅读(四)--ESMM(阿里Entire Space Multi-Task Model)
rover
06-16 957
1. Motivation 在诸如信息检索、推荐系统、在线广告投放系统等工业级的应用中准确预估转化率（post-click conversion rate，CVR）是至关重要的。例如，在电商平台的推荐系统中，最大化场景商品交易总额（GMV）是平台的重要目标之一，而GMV可以拆解为流量×点击率×转化率×客单价，可见转化率是优化目标的重要因子；从用户体验的角度来说准确预估的转换率被用来平衡用户的点击偏好与购买偏好。 user actions follow a sequential pattern of impr
深度学习广告推荐CTR预估模型实战详解
一、深度学习模型在广告推荐系统中的应用 1.CTR预估模型的重要性 点击率(Click-Through Rate, CTR)预估是在线广告系统中的关键技术。CTR预测模型可以评估用户点击特定广告的概率，为广告分配和推荐系统提供支持。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值