MMoE 多任务学习

最新推荐文章于 2025-02-10 16:49:56 发布
最新推荐文章于 2025-02-10 16:49:56 发布
阅读量4k 收藏 6
点赞数
分类专栏： 推荐系统
天天开心
本文链接：https://blog.csdn.net/chuchus/article/details/104325511
版权

背景

论文见[1].
MMoE, Multi-gate Mixture-of-Experts.
底层共享,上层拆塔,是多任务学习的常规实现. 论文提出了使用多个expert(其实就是DNN), 并使用多个gate(expert_num 的 softmax) 的架构设计, 直观明了.
使用场景为: 推荐系统的多目标(ctr,互动率,转化率,etc.)

网络结构

在这里插入图片描述
图: 多任务学习的网络架构演化, c 为MMoE网络架构

gate

在这里插入图片描述
图: 截自论文的 gate 说明.

相关实验

人造数据集

控制回归任务之间label的相关系数, 人造数据集作实验, 666.

内容推荐

含有两个子任务的rank模型, engagement subtask and satisfaction subtask, 可通俗理解为点击率和点赞率,都为二分类.

offline

因为点赞label过于稀疏, 离线只看ctr任务的AUC, 为0.6908.
在这里插入图片描述
图: 两个子任务对应的gate输出的权重分布, 因点赞label稀疏, 所以权重集中在单个expert上, (but why?)

live

相比于单任务模型, ctr持平, 点赞率提升20%.

思考

不同gate为不同task分配不同expert的不同权重, 这种动态作 weighted-sum 的操作, 跟attention 机制的出发点是一样一样的.
还有一篇推荐领域多任务, 阿里的 ESSM.

参考

  1. paper,KDD 2018,Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts.
【CTR排序】多任务学习之MMOE模型
发现问题，并解决问题，批判性思维
09-18 1824
如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 5203
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
推荐系统20---MMOE(多任务学习系列1)
weixin_41403341的博客
07-01 638
写完推荐系统8之后，直接来到了推荐系统20，因为工作需要，最近需要先了解多任务方面的文章。那就先从这里开始吧。中间缺的这些，后面慢慢补。下面言归正传，开始引入多任务学习的背景知识：3，排序学习：通过预测两两物品之间相对顺序，或者物品序列之间顺序来解决多目标学习的问题。比如，视频推荐为例，用户观看很长的i视频，点击了j 视频，在假设观看比点击更重要的前提下：假设u代表用户的偏好，则Ui>Uj。有了相对顺序，就可以使用排序学习的方式，融合多个目标，不需要训练多个模型。1，优点：模型简单。
多目标学习
mudan97的博客
04-21 1561
作者在《深度学习在推荐系统中的应用》这篇文章中对YouTube在2016年提出的一个两阶段的深度学习推荐模型进行了详细介绍，该模型是深度学习在推荐系统中的应用最经典的模型之一。后面（去年）YouTube又提出了一个针对推荐排序阶段的多任务深度学习模型，这即是这篇文章我们要介绍的。 在本篇文章中，我们从问题背景及算法方案简介、排序算法模型整体框架、排序算法模型核心模块、排序模型核心亮点解读、建模过程中的挑战、模型未来优化的方向等6个方面来介绍这篇非常有学习参考价值的文章。跟16年那篇文章一样，这篇文章也是难
【深度学习】多目标融合算法（四）：多门混合专家网络MMOE（Multi-gate Mixture-of-Experts）
人工智能领域博客
02-10 3277
本文详细介绍了MMoE多任务模型的算法原理、算法优势，并以小红书业务场景为例，构建网络结构并使用pytorch代码实现对应的网络结构、训练流程。相比于MoE，MMoE可以更好的学习不同Task任务的相关性和差异性。是深度学习推荐系统中多目标或多场景类问题中必须掌握的根基模型。
Google 多任务学习框架 MMoE
喜欢打酱油的老鸟
06-17 2475
2020-06-16 23:21:40 基于神经网络的多任务学习已经过成功应用内许多现实应用中，比如说之前我们介绍的阿里巴巴基于多任务联合学习的 ESMM 算法，其利用多任务学习解决了 CVR 中样本选择偏差和样本稀疏这两大问题，并在实际应用场景中取得了不错的成绩。 多任务学习的目的在于用一个模型来同时学习多个目标和任务，但常用的任务模型的预测质量通常对任务之间的关系很敏感（数据分布不同，ESMM 解决的也是这个问题），因此，google 提出多门混合专家算法（Multi-gate Mixture-o.
多任务学习经典品读：MMoE 应用篇
Kaiyuan_sjtu的博客
06-17 685
作者|知乎博主@青枫拂岸整理|NewBeeNLP今天继续代码MMoE在推荐系统中的应用篇，来自Google Youtube团队发表在Recsys 2019的文章 Recommending what video to watch next: a multitask ranking system论文：Recommending What Video to Watch...
MMOE 【Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts】阅读
xuanshuang的博客
06-19 775
阅读笔记
Sunny.Xia的深度学习(四)MMOE多任务学习模型实战演练
sunny_xsc1994的专栏
12-20 1287
本专栏文章会在本博客和知乎专栏——Sunny.Xia的深度学习同步更新，对于评论博主若未能够及时回复的，可以知乎私信。未经本人允许，请勿转载，谢谢。 一、什么是MMOE？ 三张图分别是多任务模型的不同结构，具体介绍可以参见多任务学习之MMOE模型，该文章里也提供了一个简单的demo助于读者了解，很详细就不过多赘述了。 论文地址：https://github.com/ruozhichen/deep_learning_papers/tree/master/pctr 模型(c)即是本文所要介绍的MMO
多任务学习MTL-MMOE
u012720552的专栏
09-08 370
References [1]论文 [2]视频简介的youtube地址 [3]keras框架实现的开源地址
深度学习 - 45.MMOE && Gate 简单实现 By Keras
BITDDD小栈
04-27 1838
Keras 实现 Multi-gate Mixture-of-Experts [MMoE] 简易结构。
多任务学习模型MMoE详解 Multi-gate Mixture-of-Experts 与代码实现
小鹅鹅的博客
06-07 6762
背景 在线上推荐预测任务时往往需要预测用户的多个行为，如关注、点赞、停留时间等，从而调整策略进行权衡。其中涉及到多任务学习，本篇将会大概整理一些常用的模型如MMoE, ESMM, SNR方便理解与学习。 MMoE 背景与动机 在工业界基于神经网络的多任务学习在推荐等场景业务应用广泛，比如在推荐系统中对用户推荐物品时，不仅要推荐用户感兴趣的物品，还要尽可能地促进转化和购买，因此要对用户评分和购买两种目标同时建模。阿里之前提出的ESMM模型属于同时对点击率和转换率进行建模，提出的模型是典型的shared-bot
多目标学习(MMOE/ESMM/PLE)在推荐系统的实战经验分享
热门推荐
abcdefg90876的博客
12-18 1万+
作者 |绝密伏击知乎|https://zhuanlan.zhihu.com/p/291406172整理 | 深度传送门一、前言最近搞了一个月的视频多目标优化，同时优化点击率和衍生率...
多任务学习：MMOE网络解析和模型实战
2401_85375186的博客
05-30 1622
和传统学习的区别** 传统机器学习每个任务分别建模，多任务学习联合多个任务一起联合建模，可以在不同任务迁移共享知识，同时学到任务之间的差异
MMOE+ESSM
weixin_44880995的博客
08-20 900
另外，Gate网络最后的输出会经过softmax进行归一化。Gate网络最后一层全连接层经过softmax归一化后的输出，对应作用到每一个expert上（图2中GateA输出的红、紫、绿三条线分别作用与expert0，expert1，expert2），注意是通过广播机制作用到expert中的每一个隐藏单元，比如红线作用于expert0的2个隐藏单元。这里gate网络的作用非常类似于attention机制，提供了权重。
多目标推荐：MMOE
sslfk的博客
03-20 479
多目标推荐：MMOE
推荐模型之多任务模型：ESMM、MMOE
A496608119的博客
06-23 1万+
的全称是Entire Space Multi-task Model (ESMM)，是阿里巴巴算法团队提出的多任务训练方法。其在信息检索、推荐系统、在线广告投放系统的CTR、CVR预估中广泛使用。以电商推荐系统为例，最大化场景商品交易总额（GMV）是平台的重要目标之一，而GMV可以拆解为流量×点击率×转化率×客单价，因此转化率是优化目标的重要因子之一； 从用户体验的角度来说转换率可以用来平衡用户的点击偏好与购买偏好。，其存在如下问题：ESMM模型利用用户行为序列数据在完整样本空间建模，避免了传统CVR模型经常
MMOE多目标学习
CatTravel的博客
01-03 1027
（致力结合理论知识与互联网前沿应用场景，给读者全方位的收获） 摘要： 最近多目标模型越来越受到重视，特别在工业界有很好的应用。本文通过讲解MMOE的原理，并根据笔者在工作中应用MMOE的经验，来给大家引出这篇博文。 多目标模型的意义： 现实世界中，我们的业务目标往往不是单一的。 比如购物APP中，我们不仅仅希望你浏览商品，也希望你购买商品，甚至分享商品，评论商品。 比如短视频推荐，我们不单希望你看视频，也希望你点赞、评论、分享视频，还希望你能关注发布的作者。 因此多目标模型的出现，就可以让我们的场景同.
多任务学习深度学习模型
最新发布
03-08
### 多任务学习在深度学习模型中的应用和实现 #### 定义与背景 多任务学习(MTL)是一种机器学习框架，在该框架下，多个相关任务可以共同训练以改进彼此的泛化能力。通过共享表示层，MTL有助于减少过拟合并提高数据效率。 #### 参数调制与集成方法的应用 为了更好地捕捉不同任务之间的复杂交互模式，研究者引入了参数调制以及基于门控机制的专家混合体架构（MoE）。这些技术允许动态调整各分支网络间的连接强度，并利用一组专门设计的任务特定模块来增强整体表现[^2]。 #### 实现细节 具体来说，Multi-gate Mixture-of-Experts (MMoE) 架构采用了一种新颖的方式来进行跨任务特征融合： 1. 输入经过基础嵌入层处理后分别送入若干个独立工作的子网； 2. 每个子网对应于某一类别的任务群组，并配备有自己的激活函数及正则项； 3. 输出端汇聚来自各个方向的信息流并通过加权求和形成最终预测结果； ```python import tensorflow as tf from tensorflow.keras.layers import Dense, Input def mmoe_model(input_dim, num_experts=8, num_tasks=2): inputs = Input(shape=(input_dim,)) experts_outputs = [] for _ in range(num_experts): expert_output = Dense(64, activation='relu')(inputs) experts_outputs.append(expert_output) task_specific_layers = {} outputs = [] for i in range(num_tasks): gate_weights = tf.nn.softmax(Dense(num_experts)(inputs)) weighted_sum = sum([gate * exp_out for gate, exp_out in zip(tf.split(gate_weights, num_experts), experts_outputs)]) output_layer = Dense(1)(weighted_sum) outputs.append(output_layer) model = tf.keras.Model(inputs=[inputs], outputs=outputs) return model ``` 此代码片段展示了如何构建一个多任务学习模型，其中包含了八个专家单元服务于两个不同的目标任务。每个输入样本都会被传递给所有的专家节点计算其响应值，之后再依据当前实例对于各类别的重要性程度分配相应的权重完成聚合操作。 #### 应用案例分析 一项针对强化学习领域的工作提出了名为SchedNet的方法论，它专注于解决多智能体系统的协同工作难题。在这个场景里，不仅实现了高效的内部通讯协议优化，还促进了群体智慧的有效发挥——即让那些拥有高质量观测视角的成员优先发言指导整个团队前进的方向[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值