【推荐系统-多任务学习】MMOE

最新推荐文章于 2024-06-05 14:40:34 发布
最新推荐文章于 2024-06-05 14:40:34 发布
阅读量1k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16761099/article/details/119149170
版权

文章目录

背景

多任务学习
1）硬参数共享
多任务学习的硬参数共享框架，都是一个共享层+任务层（shared- bottom），共享层是一组公共参数，可以学习到共同的信息，然后再接一个具体的任务层，比如ctr、cvr预估。在这里插入图片描述

2 ) 软参数共享
在软参数共享中，每个任务都有自己的模型和参数。然后对模型参数之间的距离进行正则化，以鼓励参数相似在这里插入图片描述

MMOE的模型的结构
motivation
shared-bottom对于多个任务不是那么相关的情况，不能很好的学习，mmoe这种通过Moe的结构，前人都是人工定义相关性，进行多任务学习，mmoe通过muti-gate机制自动学习任务相关性。
在这里插入图片描述
具体论文细节可以看这篇

梯度更新的问题

多任务学习的一个常见问题就是不同任务之间梯度如何分配？有些任务梯度天然就大，然后占主导地位，如何解决这个问题呢？ 下面这篇论文给出一种自动加权的思路：
https://github.com/brianlan/pytorch-grad-norm

代码只是抓手，不是人生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 4605
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
深度学习中的多任务学习:共享参数与独立参数
AI架构设计之禅
02-22 990
深度学习是一种基于神经网络的 machine learning 方法，其中模型由多层的 neurons 组成。每一层都会将输入转换为一个新的 representation，最终输出一个预测结果。多任务学习 (Multi-task Learning) 是一种 machine learning 技术，它允许模型同时学习多个任务。多任务学习通常比单独训练多个模型更有效，因为它能够利用任务之间的相关性来提高性能。随着数据量的不断增加，深度学习中的多任务学习将成为一个越来越重要的研究领域。如何更有效地共享参数？
在多任务学习中，硬共享（hard sharing）和软共享（soft sharing）的基本概念与优缺点以及适用范围
qlkaicx的博客
12-21 1665
通常情况下，用硬共享适用于任务之间的特征表示相似、知识迁移效果较好的情况。例如，文本分类任务和情感分析任务可能会有一些共享的特征表示。而用软共享适用于任务之间的特征表示存在较大差异的情况，每个任务都需要学习自己的特定特征表示。例如，图像分类和目标检测任务通常会有不同的特征表示需求。
MOE原理解释及从零实现一个MOE（专家混合模型）
最新发布
weixin_43013480的博客
06-05 4580
一个MOE主要由两个关键点一是将传统Transformer中的FFN（前馈网络层）替换为多个稀疏的专家层（Sparse MoE layers）。每个专家本身是一个独立的神经网络，实际应用中，这些专家通常是前馈网络 (FFN)，但也可以是更复杂的网络结构。二是门控网络或路由：此部分用来决定输入的token分发给哪一个专家。可能有对FFN（前馈网络层）不太熟悉的小伙伴可以看一下下面的代码及图例，很简单就是一个我们平时常见的结构。
【综述】多任务学习
allein_STR的博客
03-12 4568
MT-DNN[1] 是微软开源的框架，主要是利用学习文本的自然语言理解任务通常可以利用多任务学习和预训练两种途径解决的思想，因此二者的结合可以增强文本理解能力，基于以上提出 MT-DNN 框架,集成了 MTL 和 BERT 语言模型预训练二者的优势，在 10 项 NLU 任务上的表现都超过了 BERT，并在通用语言理解评估（GLUE）、斯坦福自然语言推理（SNLI）以及 SciTail 等多个常用 NLU 基准测试中取得了当前最佳成绩。在该权重设置下，虽然每个任务的损失函数恒为 1 ，但是梯度不为 0。
多任务学习 (Multitask Learning) 汇总
CarpeDiem
10-10 1万+
本篇主要综合网上博客关于多任务学习的资料， 包括参数硬共享机制和软共享机制，多任务学习为什么有效，以及传统方法和深度学习中使用的多任务，最后引入辅助任务并对比于其他算法的关系。
浅谈多任务学习
云隐雾匿的博客
01-25 2397
多任务学习，Multi-task Learning
多任务学习综述
sleepinghm的博客
03-30 3994
本篇来自论文《An Overview of Multi-Task Learning in Deep Neural Networks》 一、Introduction 机器学习中，我们通常关心针对特定指标的优化，无论这是某个基准的分数还是业务关键绩效指标。为了做到这一点，我们通常训练一个模型或一组模型来执行我们所期望的任务。然后我们对这些模型进行微调，直到它们的性能不再提高。虽然我们通常可以通过这...
推荐系统20---MMOE(多任务学习系列1)
weixin_41403341的博客
07-01 458
写完推荐系统8之后，直接来到了推荐系统20，因为工作需要，最近需要先了解多任务方面的文章。那就先从这里开始吧。中间缺的这些，后面慢慢补。下面言归正传，开始引入多任务学习的背景知识：3，排序学习：通过预测两两物品之间相对顺序，或者物品序列之间顺序来解决多目标学习的问题。比如，视频推荐为例，用户观看很长的i视频，点击了j 视频，在假设观看比点击更重要的前提下：假设u代表用户的偏好，则Ui>Uj。有了相对顺序，就可以使用排序学习的方式，融合多个目标，不需要训练多个模型。1，优点：模型简单。
多任务学习MTL-MMOE
u012720552的专栏
09-08 281
References [1]论文 [2]视频简介的youtube地址 [3]keras框架实现的开源地址
【CTR排序】多任务学习之MMOE模型
发现问题，并解决问题，批判性思维
09-18 1428
如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。
MMOE - 经典多任务模型（谷歌）
weixin_43646592的博客
05-18 1650
MMOE - 经典多任务模型（谷歌）
【TL学习笔记】2：多任务学习(Multi-task Learning)在图像分类中的应用
LauZyHou的笔记
06-22 5952
1 MTL简述 1.1 单任务学习 早期的机器学习方法都是单任务学习（STL）的，即认为不同任务之间没有关联性，所以都是单独训练的。这样因为每个模型单独训练，数据量只有自己的这一部分，训练出的模型也没有很好的泛化性。另外因为模型之间训练时候没有关联，即没有考虑到这些学习之间可能有共通的地方，最终得到的模型性能也不够好。 1.2 多任务学习 在多任务学习（MTL）中考虑了不同任务之间的关联，所以将不同任务的训练数据都放在一起，来训练多个任务的模型。 1.3 MTL的构建原则 找到建模任务之间的相关性 同时对
参数共享机制soft-share and hard-share【机器学习】
月下花弄影
05-20 3424
先讲hard-share. 言外之意就是来硬的。实际上两个参数的hard-share就退变成了一个参数。在实际计算过程中，我们就可以使用相同的参数进行计算。参数更新后也保持相同。 再说soft-share。实际上这才是真的两个不同参数，但是我们尽量保证两个参数很接近。为了使两个参数很接近，我们通常使用损失函数来做。如下图，其中θt\theta^tθt 和 θt′\theta^{t'}θt′就是我们想要共享的参数。 ...
推荐模型之多任务模型：ESMM、MMOE
A496608119的博客
06-23 9594
的全称是Entire Space Multi-task Model (ESMM)，是阿里巴巴算法团队提出的多任务训练方法。其在信息检索、推荐系统、在线广告投放系统的CTR、CVR预估中广泛使用。以电商推荐系统为例，最大化场景商品交易总额（GMV）是平台的重要目标之一，而GMV可以拆解为流量×点击率×转化率×客单价，因此转化率是优化目标的重要因子之一； 从用户体验的角度来说转换率可以用来平衡用户的点击偏好与购买偏好。，其存在如下问题：ESMM模型利用用户行为序列数据在完整样本空间建模，避免了传统CVR模型经常
浅谈 多任务学习 在推荐系统中的应用
Kaiyuan_sjtu的博客
12-30 1346
作者|Chilia哥伦比亚大学nlp搜索推荐整理|NewBeeNLP一. 为什么要用多任务学习？「方便」。在推荐任务中，往往不仅要预测用户的engagement（例如...
多任务学习
热门推荐
xuluohongshang的博客
01-12 3万+
简介： 多任务学习（Multitask learning）是迁移学习算法的一种，迁移学习可理解为定义一个一个源领域source domain和一个目标领域（target domain），在source domain学习，并把学习到的知识迁移到target domain，提升target domain的学习效果（performance）。 概念解析： 多任务学习（Multi-task le
多任务学习（MTL）--学习笔记
oneself的博客
09-25 939
多任务学习（MTL）--学习笔记
【层级多标签文本分类】MSML-BERT 模型的层级多标签文本分类方法研究
wuli_乖
06-29 5396
层级多标签文本分类相比普通的多标签文本分类更具有挑战性，因为文本的多个标签组织成树状 的层次结构。当前方法使用相同的模型结构来预测不同层级的标签，忽略了它们之间的差异性和多样性。 并且没有充分地建模层级依赖关系，造成各层级标签尤其是下层长尾标签的预测性能差，且会导致标签不 一致性问题。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值