【推荐算法】MMoE模型：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

VIP文章 已于 2023-01-30 17:42:39 修改
阅读量2.8k 收藏 13
点赞数 3
分类专栏： 推荐系统 深度学习 机器学习 文章标签： 推荐算法 算法
于 2022-12-22 20:49:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hero_myself/article/details/128400010
版权

1、MMoE背景

MMoE是谷歌在2018年发表在KDD上的一篇基于多任务学习的经典论文，其使用场景是对不相关任务的多任务学习。在推荐系统中，这些不相关的任务可以示例为：视频流推荐中的CTR、时长、点赞、分享、收藏、评论等相关性不强的多个任务。

2、MMoE模型概述

2.1、Shared-Bottom model

MMoE模型的基础结构是“Shared-Bottom multi-task DNN”结构，Shared-Bottom model网络结构如下图。

Shared-Bottom model在输入层后接入几个bottom层作为多任务的共享网络结构，然后每个任务有一个独立的网络“塔”。这个网络结构比较简单，就是多个任务共享底部的Shared-Bottom网络，然后每个子任务在链接一个独立的tower网络。

这种网络结构的优点是浅层参数共享，互相补充学习，任务相关性越高，模型的loss可以降低到更低，但当任务没有好的相关性时，会影响模型的效果。

假设当前有K个任务，Shared-bottom Multi-task Model由一个shared-bottom的网络组成，这个shared-bottom网络可表示为函数f，将K个tower networks表示为h^{k}，其中k=1,2,...,K为任务数。Shared-Bottom model的shared-bottom网络接入的是输入层，每个tower networks建立在shared-bottom网络的输出上，每个tower networks的输出就是对每个独立任务的网络输出，可表示为y_{k}。这样，对于子任务k，Shared-Bottom model的网

最低0.47元/天 解锁文章
长相忆兮长相忆
关注
  • 3
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
deepRecModel：推荐系统模型
02-17
deepRecModel 推荐系统模型 召回模型：LR，CF，MF，FM，FFM， 等级模型：deepFM，WDL，DSSM，DIN，DIEN，Transformer，MMoE，ESSM，AoFFM，xDeepFM 待办事项列表：DCN NFM NCF AFM PNN FNN PLE图形嵌入：word2vec，item2vec，deepwalk，node2vec，EGES GNN：graphSage，pinSage
混合专家模型 (MoE) 详解
Hugging Face
12-26 1253
随着 Mixtral 8x7B (announcement, model card) 的推出，一种称为混合专家模型 (Mixed Expert Models，简称 MoEs) 的 Transformer 模型在开源人工智能社区引起了广泛关注。在本篇博文中，我们将深入探讨 MoEs 的核心组件、训练方法，以及在推理过程中需要考量的各种因素。让我们开始吧！简短总结混合专家模型 (MoEs):与稠密模型...
MMOE——多任务学习模型
星辰的博客
04-05 1161
近年来，深度神经网络模型已成功应用于许多现实世界的大规模应用，如推荐系统。这样的推荐系统通常需要同时优化多个目标。例如，在向用户推荐电影时，我们可能希望用户不仅购买并观看电影，还希望他们在观看后喜欢上电影，这样他们就会回来看更多的电影。也就是说，我们可以创建模型来同时预测用户的购买和他们的评级。
混合专家模型 (MoE) 简述
最新发布
2301_81940605的博客
03-11 1263
本文主要想梳理一下 MoE 模型相关的概念，并阅读整理部分开源 MoE 模型的论文，简要地描述整体架构等。
推荐系统 - Google多目标学习MMOE(附tf2.0实现)
RecDay2018's Blog
04-29 6500
本文收录在推荐系统专栏，专栏系统化的整理推荐系统相关的算法和框架，并记录了相关实践经验，所有代码都已整理至推荐算法实战集合(hub-recsys)。 1.背景 何谓多任务，即在一个模型中考虑多个目标。在推荐系统中，往往需要同时优化多个业务目标，承担起更多的业务收益。如电商场景：希望能够同时优化点击率和转换率，使得平台具备更加的目标；信息流场景，希望提高用户点击率的基础上提高用户关注，点赞，...
Credit-Risk-Modeling-using-Machine-Learning:风险建模算法的研究与比较（Capstone项目）
05-12
使用机器/深度学习进行信用风险建模 Nishant Sharma的Captstone项目 这是对风险预测模型的全面比较。 关于后续步骤，这是您需要查看的内容-> 1.数据分析和可视化可以在Xploratory_analysis.ipynb中找到 2.预处理和前馈深度神经网络训练和分数可在deep_default.ipynb中找到 3.预处理，集成方法培训和模型评估可在Preprocessing_modeling_refinements_evaluations.ipynb中找到 结果-最后，选择经过调整的参数进行梯度增强，并在10倍的数据范围内选择最佳训练/测试得分。 参考：
同步专家网络版
01-31
同步专家网络版
MMOE原理介绍
zy345293721的博客
09-27 6212
神经网络的多任务学习已成功用于工业界的大规模应用程序中，例如在视频推荐中，只考虑点击转化率时，会倾向推荐包含标题党、擦边海报的视频；只考虑完成度时，会倾向推荐时间比较短的视频等等。而这些倾向都会影响用户体验，并且可能导致业务长期目标的下降。因此，大家开始尝试引入多个相互关联但又不一致的目标来进行综合考虑建模，并且实践表示，多任务学习在推荐系统中能够提升上下文推荐的效果。但是，常用的多任务模型的预测质量通常对任务之间的关系很敏感，因此，研究特定于任务的目标与任务间关系之间的建模折衷至关重要。 ...
多任务学习经典品读：MMoE模型篇
Kaiyuan_sjtu的博客
06-10 3529
作者|知乎博主@青枫拂岸整理|NewBeeNLP今天带来是Google发表于KDD2018，针对于多任务推荐的经典模型MMOE。论文：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts地址: https://dl.acm.org/doi/10...
【阅读笔记】多任务学习之MMoE(含代码实现)
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
11-01 5447
本文作为自己阅读论文后的总结和思考，不涉及论文翻译和模型解读，适合大家阅读完论文后交流想法，文末含MMoE的Pytorch实现及Synthetic Data的生成代码。
MMOE模型
qq_43543512的博客
06-12 7843
MMOE模型 本质是与Shared-Bottom底层网络共享加深了专业领域程度，同时融入了注意力机制（信息融合）
推荐系统（十八）推荐系统中的MMOE
更木的博客
12-12 2315
mmoe
Multi-agent based modeling and simulating for evacuation process in stadium
02-09
A multi-agent evacuation model is proposed in this paper to simulate the pedestrian evacuation process in stadium with or without obstacles. The authors give a multi-agent individual decision-making framework, in which the action direction of each pedestrian (called agent) is affected by the distance of the agent to the exits and the occupant number and density within the view field of the agent. Different from the existing results, the authors divide all the pedestrians in the stadium into four
Multi-Scale Modeling of Composite Structures with DIGIMAT & ABAQUS
06-08
通过耦合ABAQUS和DIGIMAT，开发了两种尺度的程序(宏观层面的有限元和微观层面的均匀化)。将给出一些应用来说明DIGIMAT作为输入的描述材料微观结构的参数与ABAQUS预测的全局响应之间的联系
源于飞桨生态的一站式开箱即用工具搜索推荐系统
11-10
源于飞桨生态的搜索推荐模型 一站式开箱即用工具，适合初学者，开发者，研究者的推荐系统全流程解决方案，包含内容理解、匹配、召回、排序、 多任务、重排序等多个任务的完整推荐搜索算法库。大规模推荐算法库，包含推荐系统经典及最新算法LR、Wide&Deep、DSSM、TDM、MIND、Word2Vec、DeepWalk、SSR、GRU4Rec、Youtube_dnn、NCF、GNN、FM、FFM、DeepFM、DCN、DIN、DIEN、DLRM、MMOE、PLE、ESMM、MAML、xDeepFM、DeepFEFM、NFM、AFM、RALM、Deep Crossing、PNN
Pornographic images recognition based on spatial pyramid partition and multi-instance ensemble learning
02-10
For tackling the problem of pornographic image recognition, a novel multi-instance learning (MIL) algo-rithm is proposed by using extreme learning machine (ELM) and classifiers ensemble. Firstly, a spatial pyramid partition-based (SPP) multi-instance modeling technique has been deployed to transform the pornographic images recognition problem into a typical MIL problem. The method has deployed a bag corresponding to an image and an instance corresponding to each partitioned sub-block described b
A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommenda
11-19
本文介绍了在推荐系统中，用于跨域用户建模的多视图深度学习算法。该文提出了一个通用的推荐框架，它使用深度学习来匹配用户特征和项目特征。展示了如何扩展这个框架，用来组合来自不同领域的数据，从而进一步提高...
Analysis of Multi-Agent-Based Adaptive Droop-Controlled AC Microgrids with PSCAD: Modeling and Simulation
02-10
Analysis of Multi-Agent-Based Adaptive Droop-Controlled AC Microgrids with PSCAD: Modeling and Simulation
Modeling an a-Si:H/c-Si Solar Cell with AFORS-HET
08-07
AFORS-HET学习说明（588页）
modeling point clouds with self-attention and gumbel subset sampling
03-16
这是一种使用自注意力和Gumbel子集采样来建模点云的方法。自注意力可以帮助模型在处理点云时更好地捕捉局部和全局信息，而Gumbel子集采样则可以帮助模型在处理大规模点云时更高效地进行采样和计算。这种方法可以用于许多点云相关的任务，如点云分类、分割和重建等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值