mmoe/Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

已于 2023-01-29 14:30:51 修改
阅读量473 收藏
点赞数
分类专栏： 机器学习 文章标签： 人工智能
于 2021-12-31 11:24:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_41679123/article/details/122252281
版权

文章目录

总结

每个task分开emb，每个task分开attention

细节

现有的方法对任务间的relationship敏感

MTL

改进1: 不使用shared-bottom，使用单独的参数，但是加一个多个task参数之间的L2正则

在这里插入图片描述

shared-bottom，共用emb，每个任务上再套一个tower network。这种做法可以降低overfitting，但若task之间没关系则学习不好
y k = h k ( f ( x ) ) y_k = h^k(f(x)) yk​=hk(f(x))

moe：每个task单独emb，最后的输出乘权重后相加，类似attention
y = ∑ i n g ( x ) i f i ( x ) y = \sum_i^n g(x)_if_i(x) y=i∑n​g(x)i​fi​(x)

mmoe：每个task单独emb，单独attention

实验

数据集：uci census-income
评估指标：auc
baseline：shared-bottom, l2-constrained, cross-stitch, omoe, mmoe

KpLn_HJL
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MMOE - 经典多任务模型（谷歌）
weixin_43646592的博客
05-18 1669
MMOE - 经典多任务模型（谷歌）
【推荐算法】MMoE模型：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
长相忆兮长相忆的专栏
12-22 4062
MMoE是谷歌在2018年发表在KDD上的一篇基于多任务学习的经典论文，其使用场景是对不相关任务的多任务学习。在推荐系统中，这些不相关的任务可以示例为：视频流推荐中的CTR、时长、点赞、分享、收藏、评论等相关性不强的多个任务。
多任务学习-MMOE-Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
weixin_42536121的博客
09-04 309
针对多任务学习的应用场景，MMOE论文提出了多门多专家的混合结构的多任务学习方法，如下图c所示。针对其他的经典算法，比如a-硬共享share-bottom结构的方式，引入了一组不同的专家网络；针对b-MOE结构，扩展了门网络的数量，使得网络结构对于多任务的相关性较低时，能够更好的优化。
【推荐系统】【多任务学习】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
最新发布
xtcc的博客
08-01 612
在传统多任务学习中，任务间关系被建模为固定和静态的。这意味着模型在训练过程中假设任务之间的关系不会变化，这限制了模型适应任务间可能存在的动态和复杂关系的能力。这种静态关系建模方式可能导致模型无法充分利用任务间的潜在互补信息，从而影响学习效率和泛化能力。此外，当任务间存在负迁移时，固定关系可能加剧这一问题，导致某些任务的性能下降。因此，需要一种能够动态调整任务间关系的MTL方法，以提高模型的灵活性和鲁棒性。这篇论文提出了多门控混合专家（MGMoE）模型，用于改善多任务学习中任务间关系建模的灵活性。
MMOE 【Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts】阅读
xuanshuang的博客
06-19 582
阅读笔记
论文笔记《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》
zuolixiangfisher的博客
02-28 879
1、摘要 基于神经网络的多任务学习已经在实际场景如推荐系统中有了大规模应用，例如在电影推荐中，除了要给用户推荐他们可能购买或者观看的电影，还要考虑用户后续对这部电影的评价。通过多任务学习，我们的目标是利用一个模型来学习多个实际业务中的目标，但是，常用的多任务模型的预测质量通常对任务之间的关系很敏感。因此，研究特定于任务的目标与任务间关系之间的建模权衡非常重要。 google推荐团队提出了一种新的多...
多任务学习论文导读: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
fanzitao的专栏
02-05 1481
基于神经网络的大规模多任务学习在产业界有广泛的应用，例如推荐系统。为什么现在的推荐系统会追求多任务呢？以头条类的新闻推荐为例，如果只追求点击率，那么标题党会大行其道，所以一般还会把阅读时长也作为一个目标。再比如短视频推荐，平台方更希望给用户带来更好的体验，例如长时间播放、点赞、高评分等。因此，我们可能需要针对多个目标进行建模，追求多目标之间的平衡或者共赢。 借助多任务学习，我们的目标是构建一个统...
【多任务学习】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts KDD18
chadlee
07-25 400
在模型层面理解，我们在单目标中经常会花费大量的精力“找强特征”和“删冗余特征”输入到模型，提高模型效果。那么切换到MTL时，每个task所需要的“强特”和排斥的“负特”是不同的，MTL的目的就是对每个task尽可能的找到他们的强特和负特。在优化层面理解，多个task同时优化模型，某些task会主导了模型的优化过程，淹没了其他task。从监督信号的角度理解，MTL不仅仅是任务，也是一种数据扩增，相当于每个task多了k-1个监督信号来辅助学习，一些特征可以从其他task学的更好。...
多任务学习模型详解：Multi-gate Mixture-of-Experts（MMoE ，Google，KDD2018）
热门推荐
ty44111144ty的博客
08-11 2万+
原文地址：多任务学习模型详解：Multi-gate Mixture-of-Experts（MMoE ，Google，KDD2018），首发微信公众号，现在转到CSDN上~ 欢迎关注我的公众号，微信搜algorithm_Tian或者扫下面的二维码~ 现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~ 上篇文章介绍多任务学习的背景知识，其中提到了相关任...
多任务学习(Multi-task Learning)在推荐系统中的应用
qq_20879591的博客
04-28 1446
多任务学习：基于共享表示，把多个相关的任务放在一起学习的一种机器学习方法。多任务起源于迁移学习，利用其它任务的知识，区别在于同时学习多个任务。推荐系统中的任务，相关场景/目标，可以使用多任务学习。近年来，esmm，mmoe，ple等多任务学习结构在业界实践中大放异彩。
Modeling Task Relationships in Multi-task Learning withMulti-gate Mixture-of-Experts
我爱写报告的博客
03-01 304
背景 多目标深度学习系统越来越多被运用在了大规模真实推荐系统中。然而目前常用的多目标模型通常对数据分布和任务间的关系过于敏感。因此在单个任务目标和多个任务的关系之间的tradeoff就变得很重要。 本文提出了MMoE，一个能够显式学习到任务间关系的多任务模型。MMoE模型在多个任务间共享expert子模型，并且有一个门控网络来优化每个任务。为在相关程度不同的任务上验证我们的模型，我们首先将它应用在了一个由我们自己控制相关程度的人工数据集上，发现在相关程度不强的任务上它的表现优于baseline模型。然后我们
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts [KDD 2018] [MM
DrWells的博客
08-04 1044
论文链接： :http://delivery.acm.org/10.1145/3230000/3220007/p1930-ma.pdf?ip=203.12.205.218&id=3220007&acc=OA&key=4D4702B0C3E38B35.4D4702B0C3E38B35.4D4702B0C3E38B35.5945DC2EABF3343C&acm=1564...
【论文笔记】Modeling Task Relationships in Multi-task Learning withMulti-gate Mixture-of-Experts
m0_61899108的博客
07-19 857
阿里团队提出ESMM模型利用的方法极大地提升了CVR预估的性能，同时解决了传统CVR模型预估的一些弊病。我们从模型的网络结构可以了解到，ESMM是典型的share-bottom结构，即底层特征共享方式。这种MTL共享结构的一大特点是在任务之间都比较相似或者相关性比较大的场景下能带来很好的效果，归纳偏置的作用也能够很好的发挥出来，而对于任务间差异比较大的场景，比如建模CTR和观看时长，这种MTL共享结构就有点捉襟见肘了。...
深度模型（十三）：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
Jony0917的专栏
02-09 1638
1 简介 近些年深度神经网络被成功地应用于了各种大规模系统中，比如推荐系统[11]。在这些推荐系统中我们经常需要同时优化多个目标。例如，在电影推荐系统中，我们不仅希望用户购买和观看系统推荐的电影，还希望用户能喜欢系统推荐的电影。我们可以建立模型，同时预测用户的购买和评分。实际上，很多大规模的推荐系统已经使用了深度神经网络（DNN）进行多任务学习[3]。 一些研究报告表明通过正则化和迁移学习，多任务...
[论文阅读] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts（MMoE模型）
no1xiaoqianqian的博客
11-06 310
[论文阅读] Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts（MMoE模型）
[论文笔记]Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
北望花村
07-10 601
一.论文题目与作者 Ma J , Zhe Z , Yi X , et al. Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts. ACM, 2018. 二.摘要 2.1 出发点 常见的多任务学习模型对子任务间的关系非常敏感，因此，需要权衡特定任务目标的学习和子任务间关系的学习。 2.2 创新 本文提出Multi-gate Mixture-of-Experts(MMoE)，明确
论文《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》
whgyxy的博客
03-13 1688
摘要 常用的多任务学习往往对于任务之间的关系比较敏感，本文提出的MMoE将专家混合结构应用到多任务模型中，所有任务共享专家子模型，同时训练门控网络来优化每个任务。 Neural-based multi-task learning has been successfully used in many real-world large-scale applications such as recommendation systems. For example, in movie recommendations
【多模态】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文阅读及代码解析
qq_36643449的博客
05-18 545
一、MoE简介 MMoE是在MoE的基础之上，引入多任务而来，关于MoE的相关解读，可以参考我的另一篇博客：【论文阅读】Adaptive Mixtures of Local Experts 二、MMoE简介 关于MMoE的论文阅读在我的另一篇博客中已经讲到，具体可以参考：【推荐算法论文阅读】Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts MMoE的模型结构如下图（c）所示： MMo
阅读笔记——Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
zhangwl27的专栏
02-24 477
参考：https://www.jianshu.com/p/ab7216e95fa9 摘要 基于神经网络的多任务学习已经成功应用于真实世界里的大规模应用，如推荐系统。例如，在电影推荐中，除了给用户推荐他们倾向于购买和观看的电影外，系统还可以对用户后来喜欢的电影优化。用多任务学习，我们旨在建立一个单独的模型来同时学习多个目标和任务。但是，常用的多任务模型的预测质量通常对任务之间的关系很敏感。...
读取以下网页内容https://ww2.mathworks.cn/help/simulink/slref/modeling-an-anti-lock-braking-system.html ，说明模型中各部分的含义
06-02
这篇网页介绍了如何使用Simulink建立一个基本的防抱死制动系统（ABS）模型，包括模型中各部分的含义。 在这个ABS模型中，包含以下部分： 1. 输入信号：模型的输入信号是制动踏板的力和车速。制动踏板的力用于控制...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值