多任务学习中任务相关性的模型MMoE

最新推荐文章于 2024-05-29 01:06:14 发布
最新推荐文章于 2024-05-29 01:06:14 发布
阅读量614 收藏 1
点赞数
分类专栏： 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014128608/article/details/109519995
版权
【CTR排序】多任务学习之MMOE模型
发现问题，并解决问题，批判性思维
09-18 1827
如果任务之间差的很大，MOE这种单门控控制的方式就不行了，因为此时底层的多个专家学习到的特征模式相差可能会很大，毕竟任务不同，而单门控机制选择专家组合的时候，肯定是选择出那些有利于大多数任务的专家， 而对于某些特殊任务，可能学习的一塌糊涂。更关键的时候，参数量还不会增加太多。为了增加灵活性， 为不同的模型还学习了重要性权重，这可能考虑到了在学习任务的共性模式上， 不同的模型学习的模式不同，那么聚合的时候，显然不能按照相同的重要度聚合，所以为各个专家学习权重，默认了不同专家的决策地位不一样。
MMOE - 经典多任务模型（谷歌）
weixin_43646592的博客
05-18 1888
MMOE - 经典多任务模型（谷歌）
RS Meet DL(68)-建模多任务学习中任务相关性的模型MMoE
abcdefg90876的博客
10-27 1288
本文介绍的论文题目是：《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixtur...
MMoE论文中Synthetic Data生成代码(控制多任务学习中任务之间的相关性)
简简单单的学习笔记，致力于帮助更多前进路上的朋友~
11-01 1617
MMoE论文中Synthetic Data生成代码，控制多任务学习中任务之间的相关性
多任务学习模型MTL: MMoE、PLE
sgyuanshi的博客
10-25 1万+
常见的监督学习包括： 回归：预测值为连续值，如销售额； 二分类：预测值为离散值，且只有两种取值，如性别，要么是男，要么是女； 多分类：预测值为离散值，且多于两种取值，如动物分类，可能有猫、狗、狮子等等； 还有另外一种，也是本文的主角：多任务学习（Multi Task Learning）。 MTL介绍 首先，介绍什么是多任务学习，例如之前文章提到的微信视频场景，同时包含多个学习目标（task）：是否转发、是否点赞、是否关注等。 微信大数据挑战赛 以往的做法可能会对不同的task分别建立对应的模型，但这样会
多任务——任务相关性
小花生的博客
08-02 2278
《Fully-adaptive Feature Sharing in Multi-Task Networks with Applications in Person Attribute Classification》2016 要解决的问题：通过适当地共享相关信息来提高多项预测任务的泛化性能。 创新点：作者提出了一种设计紧凑型多任务深度学习架构的自动方法。开始采用一个薄的多层网络，并在训练过...
多任务学习 相关方法
weixin_42699651的博客
08-13 1261
1. 定义： 基于共享表示（shared representation），把多个相关的任务放在一起学习的一种机器学习方法。 2. 多任务学习好处： i. 提高泛化能力 多人相关任务放在一起学习，有相关的部分，但也有不相关的部分。当学习一个任务（Main task）时，与该任务不相关的部分，在学习过程中相当于是噪声，因此，引入噪声可以提高学习的泛化（generalization）效果。 ii. 降低...
AI上推荐 之 MMOE(多任务yyds)
Miracle8070
04-20 5216
1. 写在前面 这篇文章开始多任务模型的学习，随着推荐技术的蓬勃发展，目前越来越多的推荐场景，往往并不是单纯的优化一个指标，比如: 视频推荐领域: 推荐排序任务不仅需要考虑到用户点击率，完播率，也需要考虑到一些满意度指标，例如，对视频是否喜欢，用户观看后对视频的评分； 文章推荐领域: 不仅希望用户点击阅读文章，还希望用户有更多的停留时长，互动、关注。 电商推荐领域: 不仅希望用户更多对商品点击浏览，还希望用户看完商品后进行付费，点击率和转化率 所以，推荐系统做到后期，往往会朝着多目标学习进行演化，承担更
AI大模型中的多任务学习：一石多鸟
AI天才研究院
05-29 714
AI大模型中的多任务学习：一石多鸟 作者：禅与计算机程序设计艺术 1.背景介绍 1.1 人工智能的发展历程 1.1.1 早期人工智能 1
贝叶斯估计与多任务学习: 任务相关性与知识共享
AI天才研究院
12-27 534
1.背景介绍 多任务学习(Multi-task Learning, MTL)是一种机器学习方法，它通过同时学习多个相关任务来提高学习能力。在许多应用领域，例如语音识别、计算机视觉和自然语言处理等，多任务学习已经取得了显著的成果。然而，在实践中，多任务学习的表现仍然存在一定局限性，这主要是由于任务之间的相关性和知识共享机制的不足。 贝叶斯估计是机器学习和统计学的基石，它提供了一种理论框架来处理不...
【多任务学习-Multitask Learning概述】
derder的博客
12-08 4167
多任务学习-Multitask Learning概述
数学建模【相关性模型】
W_O_Z的博客
02-26 5377
相关性模型并不是指一个具体的模型，而是一类模型，这一类模型用来判断变量之间是否具有相关性。一般来说，分析两个变量之间是否具有相关性，我们根据数据服从的分布和数据所具有的特点选择使用pearson（皮尔逊）相关系数和spearman（斯皮尔曼）等级相关系数；分析两组变量，每组变量都有多个指标的时候，无论是pearson相关系数还是spearman等级相关系数都无能为力，所以又要介绍一个新的典型相关分析来解决这个问题。
谷歌 | 多任务学习，如何挑选有效的辅助任务？只需一个公式！
夕小瑶科技说
10-12 3955
文 | 小伟编 | 小轶前言说到多任务学习，大家都不陌生，不管是在学术界还是工业界都已经有了很多成熟的探索与应用。在理想的多任务学习中，各个任务对彼此应当是有益的，所有任务相互促进，从而达...
多任务学习——【RecSys 2020】【腾讯视频】PLE
07-31 454
当不同的学习任务之间较为相关时，多任务学习可以通过任务之间的信息共享，来提升学习的效率。但任务之间的相关性并不强，多任务学习可能带来负迁移（negative transfer）跷跷板现象，相关性不强的任务之间的信息共享会影响网络的表现。则是第k个任务的Experts的输出，包含了 Experts k和Experts Shared。PLE就是多层的CGC。
多任务深度学习（MultiTask Learning）
热门推荐
毛财胜的专栏
09-29 3万+
多任务学习给出多个监督信息（标签），利用任务之间的相关性互相促进。案例1-人脸识别香港中文大学汤晓鸥组发表在NIPS14的论文《Deep Learning Face Representation by Joint Identification-Verification》,提出了一种联合训练人脸确认损失和人脸分类损失的多任务人脸识别网络DeepID2（Deep IDentification-verif
【图智决策】ICLR2022 | 关系型多任务学习：建模数据和任务之间的关系
hlj2009的博客
11-11 1434
感谢大家关注图智决策，本公众号为纯学术交流平台，主要为大家分享有关图神经网络、图上组合优化与决策、图上算法推理等前沿话题相关的论文及其解读。本期话题为图上的多任务学习，笔者将带领大家一起解读来自ICLR2022的一篇Spotlight论文
模型汇总-14 多任务学习-Multitask Learning概述
lqfarmer的博客
06-16 1万+
1、单任务学习VS多任务学习 单任务学习：一次只学习一个任务（task），大部分的机器学习任务都属于单任务学习。 多任务学习：把多个相关（related）的任务放在一起学习，同时学习多个任务。 多任务学习（multitask learning）产生的原因？ 获取最新消息链接：获取最新消息快速通道 - lqfarmer的博客 - 博客频道 - CSDN.NET
多任务学习
xuluohongshang的博客
01-12 3万+
简介： 多任务学习（Multitask learning）是迁移学习算法的一种，迁移学习可理解为定义一个一个源领域source domain和一个目标领域（target domain），在source domain学习，并把学习到的知识迁移到target domain，提升target domain的学习效果（performance）。 概念解析： 多任务学习（Multi-task le
多任务学习综述：推荐系统多任务学习（multitask）的实战总结和常见问题（一）
JRsLoveAI的博客
12-08 3979
多任务学习算法系列的主要内容是回顾和总结自己2019-2021间在深度学习多任务学习算法(multitask)的工业实践和遇到的常见问题，欢迎更多同学讨论和指正，同时也宣传一波我们组在推荐方向的工作成果——大规模推荐算法库PaddleRec（https://github.com/PaddlePaddle/PaddleRec），欢迎大家点赞，关注和讨论。 第一章首先介绍多任务的基本概念和工业实践中的动机以及应用场景。 一. What multitask 多任务学习(multitask)的定义和形式有
多任务模型
最新发布
04-02
<think>好的，我现在需要帮助用户了解多任务学习模型的概念和实现方法，特别是关于他们提到的PLE论文。首先，我应该先确认多任务学习的基本定义，这样用户能有一个基础的理解。多任务学习（MTL）是指同时学习多个相关任务，通过共享表示来提高各个任务的性能。接下来，我需要解释常见的实现方法，比如硬共享、软共享和分层共享，这样用户能了解不同的架构设计。 然后，用户提到了PLE论文，我需要详细解析这篇论文的关键点。PLE主要是为了解决多任务学习中任务之间的负迁移问题，通过渐进式分层提取网络来分离共享和特定任务的组件。这部分需要深入讲解网络结构，包括共享专家和任务特定专家的设计，以及如何通过门控机制动态调整信息流动。 接下来，用户可能想知道如何实现这样的模型，所以给出一个简单的代码框架会有帮助。使用PyTorch构建PLE模型的结构，包括专家层、门控网络和任务特定塔，这样用户可以看到具体的实现步骤。同时，需要提到实现中的关键点，比如动态梯度平衡和正则化技术，这些是确保模型稳定性和效果的重要因素。 用户的问题还涉及到相关论文推荐，我需要列举几篇重要的MTL研究，比如MMoE、GradNorm和Cross-Stitch，这些能够帮助用户进一步扩展知识。同时，应用场景的说明可以让用户了解MTL的实际价值，比如推荐系统和自然语言处理中的案例。 最后，生成的相关问题需要覆盖用户可能感兴趣的后续方向，比如负迁移问题的解决、动态梯度平衡的具体方法，以及PLE与其他模型的比较。这些问题能够引导用户深入探索多任务学习的各个方面。 在整理回答时，要确保结构清晰，先介绍概念，再分点讲解方法，接着详细解析PLE模型，提供代码示例，最后推荐相关论文和应用场景。同时，注意引用格式的正确使用，并在末尾添加相关问题，促进用户的进一步思考。需要检查LaTeX语法是否正确，所有数学公式都用$...$或$$...$$格式，保持回答的中文表达自然流畅。</think>### 多任务学习（MTT）模型的概念与实现方法 #### 1. **多任务学习（MTL）核心概念** 多任务学习通过共享多个相关任务的知识提升模型泛化能力，其核心思想是**任务间的相关性可以相互增强学习效果**。例如，推荐系统中同时预测点击率和用户停留时长，两个任务共享部分特征表示层，但保留任务特定输出层[^1]。 #### 2. **常见实现方法** - **硬参数共享（Hard Parameter Sharing）** 基础层（如Embedding层）共享，任务特定层独立。例如： $$h_{\text{shared}} = f_{\text{shared}}(x), \quad y_i = f_{\text{task}_i}(h_{\text{shared}})$$ 优势：减少过拟合风险；缺点：任务冲突可能导致性能下降。 - **软参数共享（Soft Parameter Sharing）** 各任务有独立网络，通过正则化约束参数相似性。例如MMoE（Multi-gate Mixture-of-Experts）模型，通过门控机制动态组合专家（Expert）网络的输出[^2]。 - **分层共享（Progressive Layered Extraction, PLE）** 在共享层和任务层之间渐进分离，通过**分离式专家网络**和**门控单元**动态调整信息流动，解决任务间负迁移问题。PLE的结构包含： - **共享专家（Shared Experts）**：为所有任务提供通用特征 - **任务特定专家（Task-specific Experts）**：针对单个任务优化 - **门控网络（Gating Network）**：加权组合专家输出 #### 3. **PLE模型详解** PLE的核心创新在于**渐进式分层提取**，其数学表达为： $$ h^{(k)} = \sum_{i=1}^{n} g_i^{(k)} \cdot E_i^{(k)}(x) $$ 其中$E_i^{(k)}$表示第$k$层的第$i$个专家，$g_i^{(k)}$为门控权重。通过逐层分离共享和任务特定专家，减少任务间干扰。 #### 4. **实现代码示例（PyTorch框架）** ```python import torch import torch.nn as nn class Expert(nn.Module): def __init__(self, input_dim, hidden_dim): super().__init__() self.net = nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU() ) def forward(self, x): return self.net(x) class PLELayer(nn.Module): def __init__(self, num_shared_experts, num_task_experts, input_dim, expert_hidden): super().__init__() self.shared_experts = nn.ModuleList([Expert(input_dim, expert_hidden) for _ in range(num_shared_experts)]) self.task_experts = nn.ModuleList([Expert(input_dim, expert_hidden) for _ in range(num_task_experts)]) self.gate = nn.Linear(input_dim, num_shared_experts + num_task_experts) def forward(self, x): all_experts = [expert(x) for expert in self.shared_experts + self.task_experts] gate_weights = torch.softmax(self.gate(x), dim=1) combined = sum(w * e for w, e in zip(gate_weights.unbind(dim=1), all_experts)) return combined # 完整PLE模型需堆叠多个PLELayer并连接任务特定塔（Tower） ``` #### 5. **关键实现技术** - **动态梯度平衡**：使用GradNorm等算法调整不同任务损失权重 - **正则化策略**：对共享参数施加L2约束或对抗训练 - **门控网络设计**：通过稀疏门控提升计算效率 #### 6. **相关论文推荐** 1. **《Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》** (MMoE, KDD 2018) 2. **《GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks》** (ICML 2018) 3. **《Cross-stitch Networks for Multi-task Learning》** (CVPR 2016) #### 7. **应用场景** - 推荐系统：同时优化点击率、转化率、用户满意度 - 自然语言处理：联合实体识别与情感分析 - 计算机视觉：同时处理目标检测与语义分割
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值