【推荐算法】MMoE模型：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

已于 2023-01-30 17:42:39 修改
阅读量4.5k 收藏 13
点赞数 3
分类专栏： 推荐系统 深度学习 机器学习 文章标签： 推荐算法 算法
于 2022-12-22 20:49:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hero_myself/article/details/128400010
版权

1、MMoE背景

MMoE是谷歌在2018年发表在KDD上的一篇基于多任务学习的经典论文，其使用场景是对不相关任务的多任务学习。在推荐系统中，这些不相关的任务可以示例为：视频流推荐中的CTR、时长、点赞、分享、收藏、评论等相关性不强的多个任务。

2、MMoE模型概述

2.1、Shared-Bottom model

MMoE模型的基础结构是“Shared-Bottom multi-task DNN”结构，Shared-Bottom model网络结构如下图。

Shared-Bottom model在输入层后接入几个bottom层作为多任务的共享网络结构，然后每个任务有一个独立的网络“塔”。这个网络结构比较简单，就是多个任务共享底部的Shared-Bottom网络，然后每个子任务在链接一个独立的tower网络。

这种网络结构的优点是浅层参数共享，互相补充学习，任务相关性越高，模型的loss可以降低到更低，但当任务没有好的相关性时，会影响模型的效果。

假设当前有K个任务，Shared-bottom Multi-task Model由一个shared-bottom的网络组成，这个shared-bottom网络可表示为函数f，将K个tower networks表示为h^{k}，其中k=1,2,...,K为任务数。Shared-Bottom model的shared-bottom网络接入的是输入层，每个tower networks建立在shared-bottom网络的输出上，每个tower networks的输出就是对每个独立任务的网络输出，可表示为y_{k}。这样，对于子任务k，Shared-Bottom model的网络输出为：

最低0.47元/天 解锁文章
MMOE模型
weixin_40042644的博客
05-22 3352
一、shared-buttom Mul-task Model 如上图所示，shared-buttom网络位于底部，多个任务共用这一层。往上，k个子任务分别对应一个tower network，每个子任务输出一个目标 ； 二、Mixture-of-Experts Moe模型用公式可以表示为，其中。其中是n个expert network，具体来说g产生n个exerts 熵的概率分布， 最终输出时所有experts的带权加和。显然，...
【多模态】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文阅读及代码解析
qq_36643449的博客
05-18 644
一、MoE简介 MMoE是在MoE的基础之上，引入多任务而来，关于MoE的相关解读，可以参考我的另一篇博客：【论文阅读】Adaptive Mixtures of Local Experts 二、MMoE简介 关于MMoE的论文阅读在我的另一篇博客中已经讲到，具体可以参考：【推荐算法论文阅读】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts MMoE的模型结构如下图（c）所示： MMo
万字长文！小白也能懂的混合专家模型（MoE）深度解析
最新发布
2401_85375298的博客
01-17 1659
混合专家模型（Mixture of Experts，MoE）是一种先进的神经网络架构，旨在通过整合多个模型或“专家”的预测来提升整体模型性能。MoE模型的核心思想是将输入数据分配给不同的专家子模型，然后将所有子模型的输出进行合并，以生成最终结果。这种分配可以根据输入数据的特征进行动态调整，确保每个专家处理其最擅长的数据类型或任务方面，从而实现更高效、准确的预测。专家（Experts）：模型中的每个专家都是一个独立的神经网络，专门处理输入数据的特定子集或特定任务。
深度学习推荐系统-多目标-MMoE模型
qq_33221657的博客
09-26 1197
共享底层网络：负责提取输入数据的通用特征，这些特征将作为后续门控网络和专家网络的输入专家网络：一组公用的网络，每个网络都是由全连接层构成，用于从不同维度捕捉输入向量的信息；门控网络：为每个任务学习一个门控网络，用于决定哪些专家网络对当前任务更为重要。门控网络的输出是一个权重向量，用于对专家网络的输出进行加权。特定任务网络：专家网络输出乘以各自任务门控网络的权重再进行求和，后分别进入不同任务网络，进行各自的任务学习针对多目标任务，通过专家网络学习多任务间的共性，通过加入门控网络学习单个任务的个性化；
[论文阅读] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts（MMoE模型）
no1xiaoqianqian的博客
11-06 384
[论文阅读] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts（MMoE模型）
【推荐算法论文阅读】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
qq_36643449的博客
03-09 573
一、背景 如果做过推荐系统，就会发现在想要达成某些目标的时候，非得多任务一起上不可。就拿给用户推荐视频为例，我们既希望提高用户的点击率，同时也希望提高视频的播放时长，视频点赞、转发等等… 这些目标的达成并非是简单的相辅相成，更多的可能是相互竞争的关系。要是我们只让模型学习点击率，那么经过训练的模型推荐结果很可能导致标题党和封面党大行其道，真正的好的视频却被雪藏了，这显然不是我们希望看到的。而如果一味的追求高点赞，也可能就忽略了一些相对冷门的或新的佳作。这种对立，对于某些互联网巨头的黄赌毒APP来说尤为严重，
【多任务学习】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts KDD18
chadlee
07-25 452
在模型层面理解，我们在单目标中经常会花费大量的精力“找强特征”和“删冗余特征”输入到模型，提高模型效果。那么切换到MTL时，每个task所需要的“强特”和排斥的“负特”是不同的，MTL的目的就是对每个task尽可能的找到他们的强特和负特。在优化层面理解，多个task同时优化模型，某些task会主导了模型的优化过程，淹没了其他task。从监督信号的角度理解，MTL不仅仅是任务，也是一种数据扩增，相当于每个task多了k-1个监督信号来辅助学习，一些特征可以从其他task学的更好。...
【多任务学习1】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts【KNN18】
cd_passed_away的博客
10-13 1920
基于神经的多任务学习已成功应用于许多现实世界的大规模应用，例如推荐系统。例如，在电影推荐中，除了提供他们倾向于购买和观看的用户电影之外，该系统还可以针对之后喜欢电影的用户进行优化。通过多任务学习，我们的目标是构建一个同时学习这些多个目标和任务的单一模型。然而，常用的多任务模型的预测质量通常对任务之间的关系很敏感。因此，研究任务特定目标和任务间关系之间的建模权衡是很重要的。在这项工作中，我们提出了一种新颖的多任务学习方法，即多门专家混合 (MMoE)，它明确地学习从数据中建模任务关系。
多任务学习-MMOE-Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
weixin_42536121的博客
09-04 397
针对多任务学习的应用场景，MMOE论文提出了多门多专家的混合结构的多任务学习方法，如下图c所示。针对其他的经典算法，比如a-硬共享share-bottom结构的方式，引入了一组不同的专家网络；针对b-MOE结构，扩展了门网络的数量，使得网络结构对于多任务的相关性较低时，能够更好的优化。
多任务学习模型-MMoE
xw555666的博客
05-25 1771
MMoE（Multi-gate Mixture-of-Experts）是一种多任务学习模型，由Google的研究团队提出。该模型的核心贡献在于其创新的结构设计，它通过引入多个专家网络（Experts）和门控网络（Gates）来显式地建模不同任务之间的关系，并优化每个任务的表现。
[论文笔记]Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
北望花村
07-10 762
一.论文题目与作者 Ma J , Zhe Z , Yi X , et al. Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts. ACM, 2018. 二.摘要 2.1 出发点 常见的多任务学习模型对子任务间的关系非常敏感，因此，需要权衡特定任务目标的学习和子任务间关系的学习。 2.2 创新 本文提出Multi-gate Mixture-of-Experts(MMoE)，明确
MMOE——多任务学习模型
星辰的博客
04-05 1758
近年来，深度神经网络模型已成功应用于许多现实世界的大规模应用，如推荐系统。这样的推荐系统通常需要同时优化多个目标。例如，在向用户推荐电影时，我们可能希望用户不仅购买并观看电影，还希望他们在观看后喜欢上电影，这样他们就会回来看更多的电影。也就是说，我们可以创建模型来同时预测用户的购买和他们的评级。
【论文笔记】Modeling Task Relationships in Multi-task Learning withMulti-gate Mixture-of-Experts
m0_61899108的博客
07-19 1094
阿里团队提出ESMM模型利用的方法极大地提升了CVR预估的性能，同时解决了传统CVR模型预估的一些弊病。我们从模型的网络结构可以了解到，ESMM是典型的share-bottom结构，即底层特征共享方式。这种MTL共享结构的一大特点是在任务之间都比较相似或者相关性比较大的场景下能带来很好的效果，归纳偏置的作用也能够很好的发挥出来，而对于任务间差异比较大的场景，比如建模CTR和观看时长，这种MTL共享结构就有点捉襟见肘了。...
论文《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》
whgyxy的博客
03-13 2025
摘要 常用的多任务学习往往对于任务之间的关系比较敏感，本文提出的MMoE将专家混合结构应用到多任务模型中，所有任务共享专家子模型，同时训练门控网络来优化每个任务。 Neural-based multi-task learning has been successfully used in many real-world large-scale applications such as recommendation systems. For example, in movie recommendations
论文笔记：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
qcmhzly的博客
08-31 241
专家网络中隐层的大小为16。然而，当任务之间的相关性降低时，OMoE模型的性能明显下降，而对MMoE模型的影响很小。然而，直接研究任务关联性如何影响实际应用中的多任务模型是很困难的，因为在实际应用中，我们不能轻易改变任务之间的关联性并观察其影响。其次，虽然当任务相关性为1时，OMoE模型的性能方差与MMoE模型的性能方差相似，但当任务相关性降低到0.5时，OMoE的鲁棒性有明显下降。PathNet[17]是为处理不同的任务而设计的艺术性通用智能，它是一个巨大的神经网络，具有多个层和每个层中的多个子模块。
MMOE 【Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts】阅读
xuanshuang的博客
06-19 761
阅读笔记
mmoe/Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
sinat_41679123的博客
12-31 512
18-kdd-mmoe/Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值