MMoE

最新推荐文章于 2024-08-27 22:40:58 发布
最新推荐文章于 2024-08-27 22:40:58 发布
阅读量693 收藏 1
点赞数
分类专栏： Recommendation System
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ChristineC_/article/details/105532024
版权
MMoE是2018年由Jiaqi Ma等人提出的，它扩展了MoE模型，通过共享专家子模型和门控网络优化多目标学习。在目标间相关性低的情况下，MMoE表现出色，能实现更好的损失收敛，证明了模块化和门控机制对训练非凸DNN的益处。
摘要由CSDN通过智能技术生成

Time：2018

Author：Jiaqi Ma, Zhe Zhao, Xinyang Yi, Jilin Chen, Lichan Hong, Ed H. Chi

 

Abstract

MMoE从数据中学习目标之间的关系。MMoE是MoE模型的延伸，expert submodels对所有的目标是共享的，再使用gating network来优化单个目标。

在目标之间的相关性较低的情况下，MMoE的效果也更好，并且，在多次训练中，MMoE都收敛到更好的loss，这说明了，在训练non-convex DNN时，模块化（modulation）和gating机制都能提升训练。

 

Model Architecture

MoE

MMoE

task k的输出：

最低0.47元/天 解锁文章
ChristineC_
关注
专栏目录
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 4750
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
【CTR排序】多任务学习之MMOE模型
发现问题，并解决问题，批判性思维
09-18 1490
如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。
MMOE模型
weixin_40042644的博客
05-22 3236
一、shared-buttom Mul-task Model 如上图所示，shared-buttom网络位于底部，多个任务共用这一层。往上，k个子任务分别对应一个tower network，每个子任务输出一个目标 ； 二、Mixture-of-Experts Moe模型用公式可以表示为，其中。其中是n个expert network，具体来说g产生n个exerts 熵的概率分布， 最终输出时所有experts的带权加和。显然，...
推荐系统实战（七）-多任务多场景（上）多任务
最新发布
Willowii的博客
08-27 1162
多任务Multi-Task，有时也被称为多目标Multi-Objective建模。比如说电商场景下，希望曝光的物料被多多点击，还希望商品被下单购买，因此同时建模三个目标：曝光到点击CTR，点击到购买转换率CVR，曝光到购买的概率CTCVR。
MMOE(Multi-gate Mixture-of-Experts)
futurewq的博客
06-19 660
即底层不是使用共享的一个shared bottom,而是有多个tower，称为多个专家，而是有多个tower，称为多个专家，然后往往再有一个gating netwokrs在多任务学习时，给不同的tower分配不同的权重，那么这样对于不同的任务，可以允许使用底层不同的专家组合去进行预测，相较于上面所有任务共享底层，这个方式显得更加灵活。这种方法目前用的也有，比如美团的猜你喜欢，知乎推荐的ranking等，这种方法最大的优势是task越多，单任务更加不可能过拟合，即可以减少任务之间过拟合的风险。
MMOE——多任务学习模型
星辰的博客
04-05 1485
近年来，深度神经网络模型已成功应用于许多现实世界的大规模应用，如推荐系统。这样的推荐系统通常需要同时优化多个目标。例如，在向用户推荐电影时，我们可能希望用户不仅购买并观看电影，还希望他们在观看后喜欢上电影，这样他们就会回来看更多的电影。也就是说，我们可以创建模型来同时预测用户的购买和他们的评级。
Google 多任务学习框架 MMoE
喜欢打酱油的老鸟
06-17 2296
2020-06-16 23:21:40 基于神经网络的多任务学习已经过成功应用内许多现实应用中，比如说之前我们介绍的阿里巴巴基于多任务联合学习的 ESMM 算法，其利用多任务学习解决了 CVR 中样本选择偏差和样本稀疏这两大问题，并在实际应用场景中取得了不错的成绩。 多任务学习的目的在于用一个模型来同时学习多个目标和任务，但常用的任务模型的预测质量通常对任务之间的关系很敏感（数据分布不同，ESMM 解决的也是这个问题），因此，google 提出多门混合专家算法（Multi-gate Mixture-o.
MMoE论文研读
文天_Teddy的专栏
09-18 220
MMoE论文研读
MMOE多任务多目标案例
weixin_42357472的博客
03-29 1219
参考：https://github.com/drawbridge/keras-mmoe https://blog.csdn.net/weixin_42357472/article/details/106852113 数据字段说明下载: https://docs.1010data.com/Tutorials/MachineLearningExamples/CensusIncomeDataSet.html http://archive.ics.uci.edu/ml/machine-learning-databa
MMOE,MOE,SHARED-BOTTOM比较
qq_40450969的博客
12-29 579
mmoe相比于shared-bottom来说，MMOE通过门控网络来显式地建模任务之间的关系，而Shared-bottom则假设所有任务都可以从共享的底层网络中获益。因此，MMOE可能在处理任务关系更复杂的场景中表现更好，而Shared-bottom可能在任务之间存在明显共享特征的情况下表现更好。moe多个专家能够提取到不同的信息，从而帮助提升模型表现。
moe中文版教程
05-04
分子生物学软件教程是一款非常常见的生物学软件他给了好多便利
论文分享 -- ＞推荐系统-- ＞ MMoE
村头陶员外的博客
01-02 805
本次要总结的论文是 Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts，参考的实现代码为 keras-mmoe。 文章目录论文动机和创新点模型三种网络在合成数据上的对比实验合成数据生成过程任务相关程度 对 模型效果影响三种模型对比实验代码分析个人总结参考资料 论文动机和创新点 多任务学习在推荐系统里有着广泛的应用，在多任务学习中，我们希望能建立单一模型，可以对多个目标同时进行学习和建模（
推荐模型之多任务模型：ESMM、MMOE
热门推荐
A496608119的博客
06-23 1万+
的全称是Entire Space Multi-task Model (ESMM)，是阿里巴巴算法团队提出的多任务训练方法。其在信息检索、推荐系统、在线广告投放系统的CTR、CVR预估中广泛使用。以电商推荐系统为例，最大化场景商品交易总额（GMV）是平台的重要目标之一，而GMV可以拆解为流量×点击率×转化率×客单价，因此转化率是优化目标的重要因子之一； 从用户体验的角度来说转换率可以用来平衡用户的点击偏好与购买偏好。，其存在如下问题：ESMM模型利用用户行为序列数据在完整样本空间建模，避免了传统CVR模型经常
【推荐算法】MMoE模型：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
长相忆兮长相忆的专栏
12-22 4270
MMoE是谷歌在2018年发表在KDD上的一篇基于多任务学习的经典论文，其使用场景是对不相关任务的多任务学习。在推荐系统中，这些不相关的任务可以示例为：视频流推荐中的CTR、时长、点赞、分享、收藏、评论等相关性不强的多个任务。
推荐系统（三）：推荐系统中常见多任务模型MMOE，ESMM，CGC，AITM
夏未眠秋风起的博客
09-27 5602
​在实际生活中，我们关注的任务往往是一对多的，例如推荐系统场景中，我们希望物品的点击率和转化率都要高，如果只是单纯的集中于优化某一个目标，往往会导致其他​被忽略的目标变差。多任务学习通过共享目标之间的表征，优化多个任务的目标，从而改善多个任务的模型性能，因此多任务模型在推荐系统中​很常见。 ​这次和大家分享其中常见的几种多任务模型MMOE，ESMM，CGC，AITM，文末给出了参考文献，有兴趣的小伙伴可以​从论文中获取详细内容。 Hard-parameter sharing 图...
多任务学习模型MTL: MMoE、PLE
sgyuanshi的博客
10-25 8581
常见的监督学习包括： 回归：预测值为连续值，如销售额； 二分类：预测值为离散值，且只有两种取值，如性别，要么是男，要么是女； 多分类：预测值为离散值，且多于两种取值，如动物分类，可能有猫、狗、狮子等等； 还有另外一种，也是本文的主角：多任务学习（Multi Task Learning）。 MTL介绍 首先，介绍什么是多任务学习，例如之前文章提到的微信视频场景，同时包含多个学习目标（task）：是否转发、是否点赞、是否关注等。 微信大数据挑战赛 以往的做法可能会对不同的task分别建立对应的模型，但这样会
【阅读笔记】多任务学习之MMoE(含代码实现)
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
11-01 9063
本文作为自己阅读论文后的总结和思考，不涉及论文翻译和模型解读，适合大家阅读完论文后交流想法，文末含MMoE的Pytorch实现及Synthetic Data的生成代码。
机器学习多任务学习综述！ MMOE/ESMM
心之所向
07-16 681
本文对多任务学习(multi-task learning, MTL)领域近期的综述文章进行整理，从模型结构和训练过程两个层面回顾了其发展变化，旨在提供一份 MTL 入门指南，帮助大家快速了解多任务学习的进化史。多任务学习：给定 m 个学习任务，这m个任务或它们的一个子集彼此相关但不完全相同。通过使用所有m个任务中包含的知识，有助于改善特定模型的学习。具有相关联任务效果相互提升作用，即同时学习多个任务，若某个任务中包含对另一个任务有用的信息，则能够提高在后者上的表现；
MMOE pytorch
08-01
MMOE是一种用于多任务学习的模型，它通过共享和独有的Expert来有效利用不同任务的信息，从而提高模型的性能。与MMOE相比，PLE模型在任务之间的权重分配上有较大差异，能够更好地适应不同任务的需求，因此在效果上更...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值