推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型

已于 2022-12-15 22:35:46 修改
阅读量468 收藏
点赞数
分类专栏： 推荐系统学习笔记 读书笔记 kaggle 文章标签： 学习 人工智能 python 推荐算法
于 2022-12-15 00:23:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDNXXCQ/article/details/128323950
版权

研究背景

  1. 多任务相关性的复杂性和竞争性，MTL模型往往会出
    现性能退化和负迁移
  2. 跷跷板现象，即一项任务的性能往往会因影响其他任
    务的性能而得到提高

研究成果

  1. 跷跷板现象的发现，MTL由于复杂的内在关联性而没有优于相应的单任务模型
  2. 从联合表征学习和信息路由的角度，提出了一种新的共享学习结构的PLE模型
  3. 进行广泛的离线实验，以评估工业和公共基准数据集上PLE的有效性

摘要大意

  1. 多任务学习（MTL）已经成功地应用于许多推荐应用
  2. 任务相关性的复杂性和竞争性，MTL模型往往会出现性能退化和负迁移
  3. 观察到了一个有趣的跷跷板现象
  4. 提出了一种新的共享结构设计的递进分层抽取（PLE）模型

跷跷板现象：某一个任务的指标上升，但是另外一个任务的指标会下降

在这里插入图片描述

PLE的结构

在这里插入图片描述
在这里插入图片描述

CGC结构

在这里插入图片描述

experts结构

在这里插入图片描述

GATE结构

在这里插入图片描述

Tower结构

在这里插入图片描述

实验结果

腾讯视频推荐数据，PLE与单任务模型，MMOE，CGC模型在核心指标AUC, MSE 的对比

在这里插入图片描述
腾讯视频推荐数据，PLE与单任务模型，MMOE，CGC模型关于CTR/VCR目标的对比
在这里插入图片描述

丰。。
关注
专栏目录
机器学习笔记 - 什么是高斯混合模型(GMM)？
学以致用 知行合一
05-21 4万+
高斯混合模型 (GMM) 是一种机器学习算法。它们用于根据概率分布将数据分类为不同的类别。高斯混合模型可用于许多不同的领域，包括金融、营销等等！这里要对高斯混合模型进行介绍以及真实世界的示例、它们的作用以及何时应该使用GMM。 高斯混合模型 (GMM) 是一个概率概念，用于对真实世界的数据集进行建模。GMM是高斯分布的泛化，可用于表示可聚类为多个高斯分布的任何数据集。 高斯混合模型是一种概率模型，它假设所有数据点都是从具有未知参数的...
ChatGPT和GPT-4带你选笔记本电脑
热门推荐
herosunly的博客
04-11 14万+
本文介绍核心内容为用好ChatGPT之准确分配角色，希望对学习和使用ChatGPT的同学们有所帮助。为了兼顾质量和速度，本专栏的更新频率为一周一到两更。 文章目录 1. 前言 2. 使用ChatGPT给出选择建议 3. 使用GPT-4给出选择建议
多任务模型PLE：Progressive Layered Extraction
whgyxy的博客
02-04 1367
相较于MMoE（所有任务用到的expert没有区别），PLE将expert分成了2种，一种是特定任务相关的，一种是所有任务共享的。这种设计避免了expert之间参数共享的相互干扰，每个任务都有自己的expert组，可以集中精力学习本任务独特的一些信息，同时每个任务自己的gate网络也能从共享的expert组中汲取信息，获得更多的信息增益。
论文笔记：多任务学习模型：渐进式分层提取（PLE）含pytorch实现
最新发布
zly_Always_be的博客
01-29 1920
论文笔记：多任务学习模型：渐进式分层提取（PLE）含pytorch实现
排序层-深度模型-2018：ESMM【多任务学习模型】【多任务学习(multi-task learning，简写MTL)】【阿里】
u013250861的博客
08-06 268
ESMM模型2018年由阿里巴巴提出，发表在SIGIR2018会议上的《Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate》文章基于 Multi-Task Learning 的思路，有效解决了真实场景中CVR预估面临的数据稀疏（data sparsity，DS）以及样本选择偏差（sample selection bias，SSB）这两个关键问题。......
多任务：分层特征融合网络 NDDR-CNN
qq_21157073的博客
08-09 6552
论文链接：NDDR-CNN 论文摘要： In this paper, we propose a novel Convolutional Neural Network (CNN) structure for general-purpose multi-task learning (MTL), which enables automatic feature fusing at every layer ...
推荐系统（三）：推荐系统中常见多任务模型MMOE，ESMM，CGC，AITM
夏未眠秋风起的博客
09-27 5525
​在实际生活中，我们关注的任务往往是一对多的，例如推荐系统场景中，我们希望物品的点击率和转化率都要高，如果只是单纯的集中于优化某一个目标，往往会导致其他​被忽略的目标变差。多任务学习通过共享目标之间的表征，优化多个任务的目标，从而改善多个任务的模型性能，因此多任务模型在推荐系统中​很常见。 ​这次和大家分享其中常见的几种多任务模型MMOE，ESMM，CGC，AITM，文末给出了参考文献，有兴趣的小伙伴可以​从论文中获取详细内容。 Hard-parameter sharing 图...
多任务的loss优化
ytusdc的博客
01-01 4243
多任务学习经常会出现跷跷板现象，即两个任务联合学习的时候，可能一个任务效果变好，另一个任务效果变差。各任务loss量级接近，最好一致；(值域量级接近)，loss量级可以使各任务loss除以对应的初始loss(交叉熵损失/L2)针对上述多任务学习优化过程中的问题，业内有一系列的工作进行解决。今天给大家介绍4篇通过梯度优化提升多任务学习效果的方法。各任务以相近的速度进行学习。(学习速度接近)， 速度即相邻迭代次数对应的loss的比值，值越小则速度越高。2.2、通过梯度优化提升多任务学习效果的方法。
Java JDK7学习笔记-光盘
08-20
《Java JDK7学习笔记》是作者多年来教学实践经验的总结，汇集了教学过程中学生在学习java时遇到的概念、操作、应用或认证考试等问题及解决方案。《Java JDK7学习笔记》针对java se 7新功能全面改版，无论是章节架构...
冰河的渗透实战笔记-冰河.pdf
05-18
冰河整理的全网首个开源的以实战案例为背景的渗透实战笔记，全书共442页，共计37万字（不计空格）。整本书的内容涵盖：Kali基础、渗透工具、木马制作、钓鱼链接生成、爆破密码、内存溢出攻击、web渗透、数据提权、...
多任务学习模型详解：Multi-gate Mixture-of-Experts（MMoE ，Google，KDD2018）
ty44111144ty的博客
08-11 2万+
原文地址：多任务学习模型详解：Multi-gate Mixture-of-Experts（MMoE ，Google，KDD2018），首发微信公众号，现在转到CSDN上~ 欢迎关注我的公众号，微信搜algorithm_Tian或者扫下面的二维码~ 现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~ 上篇文章介绍多任务学习的背景知识，其中提到了相关任...
多任务学习——【RecSys 2020】【腾讯视频】PLE
07-31 405
当不同的学习任务之间较为相关时，多任务学习可以通过任务之间的信息共享，来提升学习的效率。但任务之间的相关性并不强，多任务学习可能带来负迁移（negative transfer）跷跷板现象，相关性不强的任务之间的信息共享会影响网络的表现。则是第k个任务的Experts的输出，包含了 Experts k和Experts Shared。PLE就是多层的CGC。
【推荐算法】ctr cvr联合建模问题合集
littlemichelle
10-16 1980
ctr和cvr分开建模相比ctcvr的优势？总结：1、ctr的数据可以试试获取，能实时训练。但是cvr存在延迟现象，样本更新慢。一起训练容易出现跷跷板现象。2、分开建模可以输出2个指标，便于调控。3、CTR肯定是需要单独建模的，因为它影响用户的长期的，也影响未来。CTCVR低，不代表用户不喜欢，也可能是因为其他原因（比如没钱，这个很容易建模，拿用户过去消费的金额，与当前商品的，一比就能知道）
深度学习调参技巧｜ kaggle 全球排名35th导师分享
Boolart的博客
10-20 449
Kaggle Competition Master 全球排名35，布尔艺数合作导师KKY分享《深度学习调参秘籍》
Share-Bottom: 推荐系统多任务学习（multitask）的实战总结和常见问题（二）
JRsLoveAI的博客
12-08 2467
多任务学习算法系列的主要内容是回顾和总结自己2019-2021间在深度学习多任务学习算法(multitask)的工业实践和遇到的常见问题，欢迎更多同学讨论和指正，同时也宣传一波我们组在推荐方向的工作成果——大规模推荐算法库PaddleRec（https://github.com/PaddlePaddle/PaddleRec），欢迎大家点赞，关注和讨论。 第一章多任务学习综述：推荐系统多任务学习（multitask）的实战总结和常见问题（一） 介绍了多任务的基本概念和常见的动机及应用场景。 第二章
paper学习笔记 - PLE
xuanshuang的博客
08-29 873
PLE学习
深度学习中的多任务学习介绍
网络资源是无限的
03-27 2万+
在2017年有一篇关于在深度神经网络中多任务学习概述的论文：《An Overview of Multi-Task Learning in Deep Neural Networks》，论文链接为：https://arxiv.org/pdf/1706.05098.pdf，它介绍了在深度学习中多任务学习(Multi-task Learning, MTL)的两种最常用的方法。以下截图均来自此论文。 传统的机器学习方法主要是基于单任务的学习(Single-task Learning)模式进行学习，对于复杂的学习任务
Progressive Layered Extraction: A Novel Multi-TaskLearning Model for Personalized Recommendations
我爱写报告的博客
03-15 999
解决的问题 多任务学习在推荐场景中已经得到了广泛的应用。然而多任务模型常常会受到负迁移的影响而性能变差。为解决这一问题，本文提出了Progressive Layered Extraction (PLE)，它将共享组件和每个任务独有的组件分隔开，并引入了一种先进的路由机制来深层的语义抽取分离出来。 跷跷板现象 在多任务学习中负迁移是很常见的现象，这一现象在相关性不强的任务间尤为显著。对于有着复杂关联性的多任务学习，我们还观察到了跷跷板现象：在全部任务中超越单任务模型是非常困难的。我们将会通过腾讯的视频推荐系统
TF2学习笔记：Chapter 2 - 模型构建与过拟合防治
在本篇TF2学习笔记中，章节2主要探讨了机器学习中的关键概念和技术，包括分类和回归示例，数据预处理，以及如何构建、训练和评估深度学习模型。以下是该章节的核心知识点： 1. **数据预处理**： - 数据集划分：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

丰。。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值