Sunny.Xia的深度学习(四)MMOE多任务学习模型实战演练

最新推荐文章于 2025-04-02 15:49:52 发布
最新推荐文章于 2025-04-02 15:49:52 发布
阅读量1.2k 收藏 13
点赞数
分类专栏： 深度学习 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunny_xsc1994/article/details/111445126
版权
本文介绍了MMOE多任务学习模型的原理和结构，重点在于模型(c)的专家网络和门控网络。MMOE模型通过多个独立的专家子网络和门控网络为每个任务分配权重，实现任务间的协同学习。提供了代码实现，并指出测试样例的构造和运行环境。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本专栏文章会在本博客和知乎专栏——Sunny.Xia的深度学习同步更新，对于评论博主若未能够及时回复的，可以知乎私信。未经本人允许，请勿转载，谢谢。

一、什么是MMOE？

三张图分别是多任务模型的不同结构，具体介绍可以参见多任务学习之MMOE模型，该文章里也提供了一个简单的demo助于读者了解，很详细就不过多赘述了。

论文地址：https://github.com/ruozhichen/deep_learning_papers/tree/master/pctr

模型(c)即是本文所要介绍的MMOE模型，图中的三个Expert可以理解为相互独立的三个子网络，Tower A和Tower B即为两个任务。三个Expert的结果会通过加权和作为Tower的输入，而权重则是由Gate来提供。相比图(b)区别就在于，这里每个任务都有自己的Gate，输出各个Expert的权重大小。整个模型表达式如下所示：

最低0.47元/天 解锁文章
【深度学习基础】多任务学习（Multi-Task Learning）
十二月的猫
09-26 1万+
多任务学习（Multi-task learning）是和单任务学习（single-task learning）相对的一种机器学习方法。在机器学习领域，标准的算法理论是一次学习一个任务，也就是系统的输出为实数的情况。复杂的学习问题先被分解成理论上独立的子问题，然后分别对每个子问题进行学习，最后通过对子问题学习结果的组合建立复杂问题的数学模型。多任务学习是一种联合学习，多个任务并行学习，结果相互影响。一次只学习一个任务（task），大部分的机器学习任务都属于单任务学习。
机器学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 16万+
机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。
利用 TensorFlow 一步一步构建一个多任务学习模型
CoderPai的博客
04-25 5388
作者：chen_h 微信号 & QQ：862251340 微信公众号：coderpai 利用 TensorFlow 一步一步构建一个多任务学习模型 介绍 为什么是多任务学习？ 当你在思考新事物的时候，他们通常会利用他们以前的经验和获得的知识来加速现在的学习过程。当我们学习一门新语言的时候，尤其是相关的语言时，我们通常会使用我们一级学过的语言知识来加快这一门新...
万字长文！小白也能懂的混合专家模型（MoE）深度解析
最新发布
2401_84205765的博客
04-02 1089
1.1 MoE模型定义混合专家模型（Mixture of Experts，MoE）是一种先进的神经网络架构，旨在通过整合多个模型或“专家”的预测来提升整体模型性能。MoE模型的核心思想是将输入数据分配给不同的专家子模型，然后将所有子模型的输出进行合并，以生成最终结果。这种分配可以根据输入数据的特征进行动态调整，确保每个专家处理其最擅长的数据类型或任务方面，从而实现更高效、准确的预测。专家（Experts）：模型中的每个专家都是一个独立的神经网络，专门处理输入数据的特定子集或特定任务。
深度学习中的多任务学习(二)
qq_36744449的博客
04-23 1093
浅谈多任务学习（Multi-task Learning） 1. 多任务学习的概念 单任务学习（single task learning）：一个loss，一个任务，例如NLP里的情感分类、NER任务一般都是可以叫单任务学习。 多任务学习（multi task learning）：简单来说有多个目标函数loss同时学习的就算多任务学习。例如现在大火的短视频，短视频APP在向你展示一个大长腿/帅哥视频之前，通常既要预测你对这个视频感兴趣/不感兴趣，看多久，点赞/不点赞，转发/不转发等多个维度的信息。这么多任务既
深度学习实战:手把手教你构建多任务、多标签模型
deephub
08-18 1530
我们将定义一个基本的 PyTorch 模型,处理两个任务:预测评分(回归)和用户是否喜欢这部电影(二元分类)。模型使用稀疏嵌入来表示用户和电影,并有共享层,这些共享层会输入到两个单独的输出层。通过在任务之间共享一些层,并为每个特定任务的输出设置单独的层,该模型利用了共享表示,同时仍然针对每个任务定制其预测。**输入 (x输入x预期是一个 2D 张量,其中每行包含一个用户 ID 和一个电影 ID。用户和电影嵌入: 从第一列提取用户 ID。: 从第二列提取电影 ID。user_embed和。
深度学习中的多任务学习(一)
qq_36744449的博客
04-23 3145
任务学习-Multitask Learning概述 Reference https://blog.csdn.net/u010417185/article/details/83065506 1、单任务学习VS多任务学习 单任务学习：一次只学习一个任务（task），大部分的机器学习任务都属于单任务学习。 多任务学习：把多个相关（related）的任务放在一起学习，同时学习多个任务。 多任务学习（multitask learning）产生的原因？ 现在大多数机器学习任务都是单任务学习。对于复杂的问题，也可以分
Sunny.Xia的深度学习(三)PNN网络实战演练，两种实现方式
sunny_xsc1994的专栏
11-22 933
本专栏文章会在本博客和知乎专栏——Sunny.Xia的深度学习同步更新，对于评论博主若未能够及时回复的，可以知乎私信。未经本人允许，请勿转载，谢谢。 一、什么是PNN？ 如图所示，相比普通的深度网络，其实多了一层product layer，再送入到深度网络中去（图中为两层隐含层layer1和layer2），最后输出CTR的结果。 Product layer主要包含两部分： 线性部分lz 非线性部分lp 最终product layer = lz+lp+bias。 第一层隐含层： 第i层隐含层
Sunny.Xia的深度学习(一)DeepFM附代码实战讲解
sunny_xsc1994的专栏
08-16 984
最近在学习深度学习，打算边学习边进行一个整理，就开了深度学习的专栏。该专栏相关的文章会在本博客和知乎专栏进行同步更新，第一篇就从DeepFM开始写起吧。 博主在学习的时候参考了很多大牛的文章，因此本文有时候为了省去重复赘述的麻烦（实际上是懒。。。），会附上参考的文章链接。 一、FM是什么？ 在学习ML的时候，肯定会遇到过逻辑回归。逻辑回归作为一个基础模型，基本可以拿来即用，方便简单。然而其缺陷也很明显，表达能力不强、无法进行特征交叉。后续提出的POLY2模型，对所有特征进行了两两交叉组合。然而其也存在
深度学习python实战-识别猫.rar
08-20
在这个“深度学习Python实战-识别猫”的项目中，我们将重点探讨如何使用Python语言和深度学习技术来训练一个能够识别猫的神经网络模型。这个项目基于吴恩达教授的深度学习课程，他是一位在机器学习和人工智能领域...
深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)
邦戈邦戈栗子的博客
02-24 2224
译自：http://sebastianruder.com/multi-task/ 1. 前言 在机器学习中，我们通常关心优化某一特定指标，不管这个指标是一个标准值，还是企业KPI。为了达到这个目标，我们训练单一模型或多个模型集合来完成指定得任务。然后，我们通过精细调参，来改进模型直至性能不再提升。尽管这样做可以针对一个任务得到一个可接受得性能，但是我们可能忽略了一些信息，这些信息有助于在我们关心的指标上做得更好。具体来说，这些信息就是相关任务的监督数据。通过在相关任务间共享表示信息，我们的模型在原...
多任务分支深度学习：人工智能的高效协同模型
weixin_42518334的博客
03-12 995
本文还有配套的精品资源，点击获取 简介：多任务分支深度学习结合了深度学习和多任务学习的优势，通过共享特征提取和任务特定优化，提高解决多任务问题的效率和准确性。在计算机视觉和自然语言处理等多个领域中，这种模型能够同时处理多个相关任务，提升性能并减少冗余计算。尽管面临挑战，例如任务冲突和资源需求增加，但通过优化策略，可以有效应对并推动AI技术的发展。 1. 多任务分支...
姿态估计与人体动作识别的多任务深度学习模型
浪浪的博客
04-13 2万+
最近在做一个人体康复训练的项目，一开始考虑到人体康复训练需要肢体的细微动作，所以先使用人体姿态估计识算法提取骨骼点，再根据人体骨骼点来识别动作（后来发现也不一定这样），并组合成一个端对端的模型，正好找到了最近的一篇论文《2D/3D Pose Estimation and Action Recognition using Multitask Deep Learning》。看完这篇论文来和大家分享一下...
多任务学习：MMOE网络解析和模型实战
2401_85375186的博客
05-30 1677
和传统学习的区别** 传统机器学习每个任务分别建模，多任务学习联合多个任务一起联合建模，可以在不同任务迁移共享知识，同时学到任务之间的差异
整理学习之多任务学习
你好
04-17 8319
主要基于浅谈多任务学习一文梳理学习了一遍多任务学习的内容
深度学习中的多任务学习-multi-learning总结
qfikh的博客
05-11 8050
多任务学习(Multi-task learning)的两种模式 深度学习中两种多任务学习模式：隐层参数的硬共享与软共享。 隐层参数硬共享，指的是多个任务之间共享网络的同几层隐藏层，只不过在网络的靠近输出部分开始分叉去做不同的任务。 隐层参数软共享，不同的任务使用不同的网络，但是不同任务的网络参数，采用距离(L1,L2)等作为约束，鼓励参数相似化。 Hard 参数共享 共享 Hard 参数是神经网络 MTL 最常用的方法，可以追溯到 [2]。在实际应用中，通常通过在所有任务之间共享隐藏层，同时保...
深度学习模型的多任务学习与多模态学习
AI天才研究院
01-28 983
1.背景介绍 深度学习模型的多任务学习与多模态学习 1. 背景介绍 深度学习是一种人工智能技术，它通过模拟人类大脑中的神经网络来学习和处理数据。在过去的几年里，深度学习已经取得了显著的进展，并在图像识别、自然语言处理、语音识别等领域取得了令人印象深刻的成果。然而，深度学习模型的训练和优化仍然是一个挑战性的任务，尤其是在处理复杂的、多任务的、多模态的数据集时。 多任务学习是指在同一组数据集上...
多目标学习(MMOE/ESMM/PLE)在推荐系统的实战经验分享
abcdefg90876的博客
12-18 1万+
作者 |绝密伏击知乎|https://zhuanlan.zhihu.com/p/291406172整理 | 深度传送门一、前言最近搞了一个月的视频多目标优化，同时优化点击率和衍生率...
深度学习架构：MOE架构
逐梦苍穹的博客
10-14 2257
深度学习架构：MOE架构
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值