MMoE & PLE：推荐系统多任务学习（multitask）的实战总结和常见问题（三）

最新推荐文章于 2023-03-23 11:05:49 发布
最新推荐文章于 2023-03-23 11:05:49 发布
阅读量3.6k 收藏 4
点赞数
文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JRsLoveAI/article/details/121791673
版权

多任务学习算法系列的主要内容是回顾和总结自己2019-2021间在深度学习多任务学习算法(multitask)的工业实践和遇到的常见问题，欢迎更多同学讨论和指正，同时也宣传一波我们组在推荐方向的工作成果——大规模推荐算法库PaddleRec（https://github.com/PaddlePaddle/PaddleRec），欢迎大家点赞，关注和讨论。

第一章多任务学习综述：推荐系统多任务学习（multitask）的实战总结和常见问题（一） 介绍了多任务的基本概念和常见的动机及应用场景。

第二章Share-Bottom: 推荐系统多任务学习（multitask）的实战总结和常见问题（二）主要介绍工业实践中的多任务解决方案中最经典的入门级算法Share-B

最低0.47元/天 解锁文章
JRsLoveAI
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
[推荐系统] - 多目标排序 MMoE、PLE
ZhuNian的学习乐园
05-02 1350
多目标排序MMoE、PLE
多任务学习模型MTL: MMoE、PLE
sgyuanshi的博客
10-25 6962
常见的监督学习包括： 回归：预测值为连续值，如销售额； 二分类：预测值为离散值，且只有两种取值，如性别，要么是男，要么是女； 多分类：预测值为离散值，且多于两种取值，如动物分类，可能有猫、狗、狮子等等； 还有另外一种，也是本文的主角：多任务学习（Multi Task Learning）。 MTL介绍 首先，介绍什么是多任务学习，例如之前文章提到的微信视频场景，同时包含多个学习目标（task）：是否转发、是否点赞、是否关注等。 微信大数据挑战赛 以往的做法可能会对不同的task分别建立对应的模型，但这样会
推荐系统（十六）多任务学习：腾讯PLE模型（Progressive Layered Extraction model）
热门推荐
天泽28的专栏
03-20 1万+
PLE模型是腾讯发表在RecSys ’20上的文章，这篇paper获得了recsys'20的best paper award，也算为腾讯脱离技术贫民的大业添砖加瓦了。这篇文章号称极大的缓解了多任务学习中存在的两大顽疾：负迁移（negative transfer）现象和跷跷板（seesaw phenomenon），由此带来了相比较其他MTL模型比较大的性能提升。从论文呈现的实验结果也确实是这样的，但从模型结构上来看，更像是大力出奇迹，即性能的提升是由参数量变多而带来的（仅仅是个人看法~）。
multitask learning 相关论文资源
weixin_30781631的博客
04-03 429
Multitask Learning / Domain Adaptation homepage: http://www.cs.cornell.edu/~kilian/research/multitasklearning/multitasklearning.html multi-task learning discussion: https://github.com/memect/...
多任务学习模型MMoE详解 Multi-gate Mixture-of-Experts 与代码实现
小鹅鹅的博客
06-07 5867
背景 在线上推荐预测任务时往往需要预测用户的多个行为，如关注、点赞、停留时间等，从而调整策略进行权衡。其中涉及到多任务学习，本篇将会大概整理一些常用的模型如MMoE, ESMM, SNR方便理解与学习。 MMoE 背景与动机 在工业界基于神经网络的多任务学习在推荐等场景业务应用广泛，比如在推荐系统中对用户推荐物品时，不仅要推荐用户感兴趣的物品，还要尽可能地促进转化和购买，因此要对用户评分和购买两种目标同时建模。阿里之前提出的ESMM模型属于同时对点击率和转换率进行建模，提出的模型是典型的shared-bot
多目标学习(MMOE/ESMM/PLE)在推荐系统的实战经验分享
abcdefg90876的博客
12-18 9853
作者 |绝密伏击知乎|https://zhuanlan.zhihu.com/p/291406172整理 | 深度传送门一、前言最近搞了一个月的视频多目标优化，同时优化点击率和衍生率...
matlab对比实验代码-ple:二维距离扫描中的概率线提取
05-22
matlab对比实验代码PLE：二维激光距离扫描的概率线提取 我们的折线提取方法的示例性结果应用于办公室中捕获的扫描。 扫描包括361射线，其中每秒显示为一条红线。 灰线表示最大范围的读数。 提取的折线图（绘制为蓝线...
PyGame-学习-环境：PyGame学习环境（PLE）-Python中的强化学习环境
02-04
PyGame学习环境（PLE）是一种学习环境，模仿了界面，可以快速开始使用Python进行强化学习。 PLE的目标是使从业人员可以专注于模型和实验的设计，而不是环境设计。 PLE希望最终建立一个广阔的游戏库。 接受游戏的...
PLE：电子教科书PLE de la SUNAT
02-13
PLE 自由选举委员会
罗升行星减速机：NEUGART_PLE系列
03-20
介绍了关于罗升行星减速机：NEUGART_PLE系列的详细说明，提供减速机的技术资料的下载。
deepRecModel：推荐系统模型
02-17
deepRecModel 推荐系统模型召回模型：LR，CF，MF，FM，FFM， 等级模型：deepFM，WDL，DSSM，DIN，DIEN，Transformer，MMoE，ESSM，AoFFM，xDeepFM 待办事项列表：DCN NFM NCF AFM PNN FNN PLE图形嵌入：word2vec，...
多目标建模算法PLE
null的专栏
01-18 1452
为了解决多任务模型中普遍存在的负迁移和跷跷板现象，在MMoE模型的基础上提出了CGC模型，在共享专家的基础上增加了针对特定任务的专家网络，可以针对特定任务学习到独有的网络部分，从而避免任务之间的相互影响，同时为了进一步提升整体网络的泛化效果，在CGC的基础上通过堆叠Extraction Network构造了更深的网络结构，进一步提升多任务模型的学习效果。
多目标学习在推荐系统的应用(MMOE/ESMM/PLE)
bbbeoy的专栏
11-02 416
Alternative Training 多目标学习在推荐系统的应用(MMOE/ESMM/PLE) - 知乎
MMoE ESSM PLE对比
taoqick的专栏
10-04 2132
---------------------MMoE-------------------- 通过门控网络的机制来平衡多任务，multi-gate的结构对于任务差异带来的冲突有一定的缓解作用。 一、Motivation 多任务模型通过学习不同任务的联系和差异，可提高每个任务的学习效率和质量。多任务学习的的框架广泛采用shared-bottom的结构，不同任务间共用底部的隐层。这种结构本质上可以减少过拟合的风险，但是效果上可能受到任务差异和数据分布带来的影响。也有一些其他结构，比如两个任务的参数不共用..
【阅读笔记】多任务学习之PLE(含代码实现)
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
11-10 6267
本文作为自己阅读论文后的总结和思考，不涉及论文翻译和模型解读，适合大家阅读完论文后交流想法，文末含PLE的Pytorch实现及Synthetic Data的生成代码。
多任务模型PLE：Progressive Layered Extraction
whgyxy的博客
02-04 1199
相较于MMoE（所有任务用到的expert没有区别），PLE将expert分成了2种，一种是特定任务相关的，一种是所有任务共享的。这种设计避免了expert之间参数共享的相互干扰，每个任务都有自己的expert组，可以集中精力学习本任务独特的一些信息，同时每个任务自己的gate网络也能从共享的expert组中汲取信息，获得更多的信息增益。
百度凤巢 | MTMS多任务多场景统一精排模型
Kaiyuan_sjtu的博客
03-23 453
大家好，这里是 NewBeeNLP。上周分享了多任务多场景共享派新作，来自快手的PEPNet：千人千模 | PEPNet: 2023快手多任务多场景建模；这周分享下来自百度凤巢的多任务多场景建模工作，属于拆塔派，和共享派的做法差异较大。Motivation文章研究多场景多任务问题的核心动机和大部分工作类似：用户在多个场景可能有相同的兴趣信号，因此理想情况下排序模型应该是一种多场景的范式，这样能够充...
多任务学习算法在推荐系统中的应用
杨旭东的专栏
09-03 1015
本文概要讲述了多任务学习的定义、动机和一般方法，概要介绍了目前主流的几种多目标排序模型。并结合电商平台商品详情页的业务场景具体介绍了如何构建样本，如何做特征工程。并且推荐基于开源的面向工业界的EasyRec推荐算法训练框架来构建做算法的训练和评估。至于模型服务的部署，每家公司的平台各不相同，就不详细介绍了。
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 4511
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
[] - 2022-09-05 推荐算法多目标建模技巧.pdf
最新发布
12-11
kaggle竞赛宝典，机器学习，人工智能咨询，kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询kaggle竞赛宝典，机器学习，人工智能咨询

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值