MMoE 多任务学习

最新推荐文章于 2024-08-23 15:49:07 发布
最新推荐文章于 2024-08-23 15:49:07 发布
阅读量3.9k 收藏 6
点赞数
分类专栏： 推荐系统
天天开心
本文链接：https://blog.csdn.net/chuchus/article/details/104325511
版权

背景

论文见[1].
MMoE, Multi-gate Mixture-of-Experts.
底层共享,上层拆塔,是多任务学习的常规实现. 论文提出了使用多个expert(其实就是DNN), 并使用多个gate(expert_num 的 softmax) 的架构设计, 直观明了.
使用场景为: 推荐系统的多目标(ctr,互动率,转化率,etc.)

网络结构

在这里插入图片描述
图: 多任务学习的网络架构演化, c 为MMoE网络架构

gate

在这里插入图片描述
图: 截自论文的 gate 说明.

相关实验

人造数据集

控制回归任务之间label的相关系数, 人造数据集作实验, 666.

内容推荐

含有两个子任务的rank模型, engagement subtask and satisfaction subtask, 可通俗理解为点击率和点赞率,都为二分类.

offline

因为点赞label过于稀疏, 离线只看ctr任务的AUC, 为0.6908.
在这里插入图片描述
图: 两个子任务对应的gate输出的权重分布, 因点赞label稀疏, 所以权重集中在单个expert上, (but why?)

live

相比于单任务模型, ctr持平, 点赞率提升20%.

思考

不同gate为不同task分配不同expert的不同权重, 这种动态作 weighted-sum 的操作, 跟attention 机制的出发点是一样一样的.
还有一篇推荐领域多任务, 阿里的 ESSM.

参考

  1. paper,KDD 2018,Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts.
yichudu
关注
专栏目录
【CTR排序】多任务学习之MMOE模型
发现问题，并解决问题，批判性思维
09-18 1463
如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。
多任务学习模型MMoE详解 Multi-gate Mixture-of-Experts 与代码实现
小鹅鹅的博客
06-07 6202
背景 在线上推荐预测任务时往往需要预测用户的多个行为，如关注、点赞、停留时间等，从而调整策略进行权衡。其中涉及到多任务学习，本篇将会大概整理一些常用的模型如MMoE, ESMM, SNR方便理解与学习。 MMoE 背景与动机 在工业界基于神经网络的多任务学习在推荐等场景业务应用广泛，比如在推荐系统中对用户推荐物品时，不仅要推荐用户感兴趣的物品，还要尽可能地促进转化和购买，因此要对用户评分和购买两种目标同时建模。阿里之前提出的ESMM模型属于同时对点击率和转换率进行建模，提出的模型是典型的shared-bot
多目标学习
mudan97的博客
04-21 1487
作者在《深度学习在推荐系统中的应用》这篇文章中对YouTube在2016年提出的一个两阶段的深度学习推荐模型进行了详细介绍，该模型是深度学习在推荐系统中的应用最经典的模型之一。后面（去年）YouTube又提出了一个针对推荐排序阶段的多任务深度学习模型，这即是这篇文章我们要介绍的。 在本篇文章中，我们从问题背景及算法方案简介、排序算法模型整体框架、排序算法模型核心模块、排序模型核心亮点解读、建模过程中的挑战、模型未来优化的方向等6个方面来介绍这篇非常有学习参考价值的文章。跟16年那篇文章一样，这篇文章也是难
大模型学习之多任务学习模型MTL: MMoE、PLE
最新发布
lvaolan的博客
08-23 982
微信大数据挑战赛以往的做法可能会对不同的task分别建立对应的模型，但这样会导致几个问题模型的数量会随着task的数量增加而增加，模型维护成本高；生产环境中，需要同时多个模型进行计算，才能完成多个task的预估，存在性能问题；忽略了不同task之间的关联。那么，多任务学习就是为了解决这些问题，建立一个模型，同时对不同的task进行学习。经常存在某个task的样本数量比较少的情况，导致模型的学习难度较高。多任务学习过程中多个task的样本数据是共享的，一定程度上减缓这个问题。
Google 多任务学习框架 MMoE
喜欢打酱油的老鸟
06-17 2282
2020-06-16 23:21:40 基于神经网络的多任务学习已经过成功应用内许多现实应用中，比如说之前我们介绍的阿里巴巴基于多任务联合学习的 ESMM 算法，其利用多任务学习解决了 CVR 中样本选择偏差和样本稀疏这两大问题，并在实际应用场景中取得了不错的成绩。 多任务学习的目的在于用一个模型来同时学习多个目标和任务，但常用的任务模型的预测质量通常对任务之间的关系很敏感（数据分布不同，ESMM 解决的也是这个问题），因此，google 提出多门混合专家算法（Multi-gate Mixture-o.
多任务学习经典品读：MMoE 应用篇
Kaiyuan_sjtu的博客
06-17 550
作者|知乎博主@青枫拂岸整理|NewBeeNLP今天继续代码MMoE在推荐系统中的应用篇，来自Google Youtube团队发表在Recsys 2019的文章 Recommending what video to watch next: a multitask ranking system论文：Recommending What Video to Watch...
MMOE 【Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts】阅读
xuanshuang的博客
06-19 590
阅读笔记
【多任务学习】Multi-task Learning 手把手编码带数据集, 一文吃透多任务学习
weixin_40293999的博客
05-08 4084
我们之前讲过的模型通常聚焦单个任务,比如预测图片的类别等,在训练的时候,我们会关注某一个特定指标的优化.但是有时候,我们需要知道一个图片,从它身上知道新闻的类型(政治/体育/娱乐)和是男性的新闻还是女性的.我们关注某一个特定指标的优化,可能忽略了对有关注的指标的有用信息.具体来说就是训练相关任务所带来的额外信息,通过在多个相关任务中共享表示,我们可以使得模型在我们原本任务上获得更好的泛化能力.这种方法就叫做多任务学习.
Sunny.Xia的深度学习(四)MMOE多任务学习模型实战演练
sunny_xsc1994的专栏
12-20 1210
本专栏文章会在本博客和知乎专栏——Sunny.Xia的深度学习同步更新，对于评论博主若未能够及时回复的，可以知乎私信。未经本人允许，请勿转载，谢谢。 一、什么是MMOE？ 三张图分别是多任务模型的不同结构，具体介绍可以参见多任务学习之MMOE模型，该文章里也提供了一个简单的demo助于读者了解，很详细就不过多赘述了。 论文地址：https://github.com/ruozhichen/deep_learning_papers/tree/master/pctr 模型(c)即是本文所要介绍的MMO
推荐系统20---MMOE(多任务学习系列1)
weixin_41403341的博客
07-01 481
写完推荐系统8之后，直接来到了推荐系统20，因为工作需要，最近需要先了解多任务方面的文章。那就先从这里开始吧。中间缺的这些，后面慢慢补。下面言归正传，开始引入多任务学习的背景知识：3，排序学习：通过预测两两物品之间相对顺序，或者物品序列之间顺序来解决多目标学习的问题。比如，视频推荐为例，用户观看很长的i视频，点击了j 视频，在假设观看比点击更重要的前提下：假设u代表用户的偏好，则Ui>Uj。有了相对顺序，就可以使用排序学习的方式，融合多个目标，不需要训练多个模型。1，优点：模型简单。
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 4686
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
MMOE - 经典多任务模型（谷歌）
weixin_43646592的博客
05-18 1677
MMOE - 经典多任务模型（谷歌）
多任务学习 (Multitask Learning) 汇总
CarpeDiem
10-10 1万+
本篇主要综合网上博客关于多任务学习的资料， 包括参数硬共享机制和软共享机制，多任务学习为什么有效，以及传统方法和深度学习中使用的多任务，最后引入辅助任务并对比于其他算法的关系。
多任务学习
热门推荐
xuluohongshang的博客
01-12 3万+
简介： 多任务学习（Multitask learning）是迁移学习算法的一种，迁移学习可理解为定义一个一个源领域source domain和一个目标领域（target domain），在source domain学习，并把学习到的知识迁移到target domain，提升target domain的学习效果（performance）。 概念解析： 多任务学习（Multi-task le
机器学习算法详解：多任务学习
DeepViewInsight的博客
09-20 996
机器学习的目标是让机器能够从数据中学习并执行各种任务。多任务学习（Multi-Task Learning，MTL）是一种机器学习方法，它旨在使一个模型能够同时学习并执行多个相关任务。这篇博客将深入介绍多任务学习的概念、应用场景以及如何实现它。无论你是初学者还是有一定机器学习经验的人，本文都将为你提供有关多任务学习的深入了解。
人工智能技术基础系列之：多任务学习
程序员光剑
11-15 225
1.背景介绍 多任务学习（Multi-task Learning）是机器学习的一个重要研究方向，它是指在单个神经网络中同时训练多个任务，从而提高模型性能。多任务学习提升了模型在多个不同任务上的能力，可以应用到图像、语音识别、自然语言处理等领域。目前，深度学习已经成功地解决了很多计算机视觉、语音识别、自然语言处理等问题，但仍然存在一些问题，如准确率低、泛
MMOE多任务多目标案例
weixin_42357472的博客
03-29 1205
参考：https://github.com/drawbridge/keras-mmoe https://blog.csdn.net/weixin_42357472/article/details/106852113 数据字段说明下载: https://docs.1010data.com/Tutorials/MachineLearningExamples/CensusIncomeDataSet.html http://archive.ics.uci.edu/ml/machine-learning-databa
MMoE ESSM PLE对比
taoqick的专栏
10-04 2482
---------------------MMoE-------------------- 通过门控网络的机制来平衡多任务，multi-gate的结构对于任务差异带来的冲突有一定的缓解作用。 一、Motivation 多任务模型通过学习不同任务的联系和差异，可提高每个任务的学习效率和质量。多任务学习的的框架广泛采用shared-bottom的结构，不同任务间共用底部的隐层。这种结构本质上可以减少过拟合的风险，但是效果上可能受到任务差异和数据分布带来的影响。也有一些其他结构，比如两个任务的参数不共用..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值