【广告推荐】用户行为序列建模（DIN、SIM）

最新推荐文章于 2025-03-12 21:47:49 发布
最新推荐文章于 2025-03-12 21:47:49 发布
阅读量1.8k 收藏 6
点赞数 5
文章标签： 推荐算法 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41888257/article/details/137088347
版权
文章探讨了如何通过用户行为序列建模，如lastN行为序列和DIN/SIM模型，来增强召回、粗排和精排过程中的用户特征表示。小红书实践中，结合不同行为向量和物品类别信息提高了效果。DIN模型通过注意力机制优化，而SIM则关注长期兴趣并控制计算成本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、用户行为序列建模

  • 用户行为序列特征加到 召回、粗排、精排，都会有收益

1.1 普通多目标排序模型

下面是普通的多目标排序模型
在这里插入图片描述

1.2 用户的 lastN 行为序列

  • 这里重点关注 “用户特征” 中的 lastN 行为序列，也就是用户最近交互（曝光、点击、转化等等）过的 N 个物品序列（物品id序列、物品类目序列）
  • 做embedding：把N个物品id映射成N个向量，最后对向量取平均得到一个向量，这个向量可以作为用户的一种特征，表示用户过去对哪些物品感兴趣

在这里插入图片描述
在这里插入图片描述

1、小红书实践

  • 把点击、点赞、收藏等不同行为的 最终的多个向量 cancat 起来，作为用户特征
  • 在取lastN的时候，不仅会使用物品id，还会使用物品类目，把物品id emb和其他特征的emb拼起来，比只用id emb的效果更好
最低0.47元/天 解锁文章
苏学算法
关注
网易云音乐推荐中的用户行为序列深度建模
11-21 2566
导读：近年来，网易云音乐作为一匹黑马迅速在移动音乐APP占据市场，2016年用户量就突破了2亿，而这与它优质的推荐系统必不可分。网易云音乐推荐系统致力于通过AI算法的落地，实现千人千面的个性化音乐推荐系统。本文将重点介绍推荐系统在云音乐的落地实践，以及在音乐推荐系统中遇到的挑战和解决方案。使大家了解音乐场景下的多行为域的序列建模，包括用户多兴趣点挖掘、多空间长短期兴趣建模，以及音乐场景下的用户兴趣演化网络建模。主要内容包括： 网易云音乐简介 召回体系探索 精排模型演化历程
精通推荐算法6：用户行为序列建模 -- 总体架构
谢杨易的博客
05-29 2670
用户行为序列建模是推荐算法中至关重要的一环，也是目前较为核心和前沿的研究方向。其主要分为短序列建模和长序列建模两大方向。短序列建模又主要分为池化和序列化两种方式，其中池化包括求和池化、平均池化和最大值池化等非特征交叉型，和以DIN为代表的注意力池化。序列化则包括以DIEN为代表的RNN型，和以BST、DSIN等为代表的Transformer型。目前基于Transformer强大的特征抽取和并行计算能力，Transformer型已经成为了短序列建模的主流。长序列建模则更进一步，考虑如何挖掘用户长期兴趣。
工业界真实的推荐系统(小红书)-用户行为序列建模：LastN、DIN、SIM
qq_17065591的博客
03-14 1146
王树森老师的硬核课程，由于PPT很多，并且老师的很多经验是口述，没有写在PPT里，网上有一些网友的笔记，但不是很完整，学习起来也比较费事，所以我自己整理了120页的PPT（这里放的是截图），期望能比较完整地把老师的经验呈现出来，同时缩短学习时间。课程特点：系统、清晰、实用，原理和落地经验兼具。
序列建模简史(DIN/DIEN/DSIN/BST/MIMN/SIM/ETA/SDIM/TWIN)
whgyxy的博客
08-05 1955
DIN的结构图如下DIN通过引入attention来解决用户表征向量和目标广告的自适应匹配。使用attention机制来表达用户的动态兴趣，可以表示如下vUAfvAe1e2eH∑j1HattentionejvA∑j1HwjejvU​AfvA​e1​e2​...eH​j1∑H​attentionej​vA​j1∑H​wj​ej​e1e。
（五）行为序列——王树森8h工业界推荐系统笔记
最新发布
weixin_43348955的博客
03-12 330
最简单的方法是对用户行为取简单的平均，作为特征输入召回、排序模型。计算的向量可作为用户特征，反映用户的兴趣，把不同数据形成的向量拼起来，可用于召回、排序模型。SIM 的原理是对用户行为序列做快速筛选，缩短序列长度，使得DIN可以用于长序列。它是对 LastN 序列建模的一种方法，效果优于简单的平均。DIN序列短，记录用户近期行为，而SIM的序列长，记录用户长期行为，时间越久远，重要性越低。
DIN模型和SIM模型原理与实践
qq_41502322的博客
10-17 1515
对比DIN，user侧的。被换成了上一步查找到的。
阿里DIN和SIM模型的分享
Maggie_JK的博客
08-14 285
query和key计算activation weight，然后value再和activation weight相乘，得到新的embedding表示。解决的问题：用户行为序列很长的时候，DIN模型计算量会巨大，如果粗暴的只选前100作为用户行为序列，会丢掉用户的长期行为兴趣。将用户行为序列中的所有商品embedding相加，得到最后的用户行为embedding。通过商品类目进行筛选，只有和候选广告类目相同的用户行为数据才会被选出送到下一级进行建模。解决方案：用户行为序列先筛选一波，再进入模型。
【推荐实践】用户行为序列推荐模型
m0_37586850的博客
12-18 2247
文章作者：汪剑 出门问问算法工程师编辑整理：Hoh Xil导读：今天我们谈谈用户行为序列上的推荐模型。首先我们对序列推荐问题做一个定义和描述，然后主要讲述可以用在序列推荐任务中的 NN...
推荐系统（十）用户行为序列建模-Pooling 路线
Jin_Kwok的博客
07-25 3752
用户历史行为是非常重要的信息。基于丰富、不同用户差异大、随时间不断变化的行为数据，如何有效利用这些信息，挖掘出用户隐藏在行为背后的真正兴趣，从而将其准确表达出来，既能体现出不同用户的差异性，又能捕捉到用户兴趣随着时间的变化，对推荐效果非常关键。
推荐系统实战（四）精排-用户行为序列建模
Willowii的博客
08-21 1692
用户行为序列是推荐系统中最重要的一类特征，比如用户的点击序列、观看序列等等。
精通推荐算法30：行为序列建模之SIM— 基于检索建模长周期行为序列
谢杨易的博客
09-15 1412
SIM通过先检索后建模的二阶段方式，有效将超长行为序列转化为了短序列。从而克服了离线建模时用户行为不能与候选物品交叉等问题，实现了在线建模。其Hardsearch和Soft-search检索方式的思考和落地，也充分体现了作者对业务特点的充分理解，是一次不错的理论结合实际。SIM工程落地也比较友好，特别是Hardsearch方案，已经被应用到了各大推荐场景。7。
下一步：通过Time-LSTM对用户行为进行建模
03-12
最近，推荐系统（RS）的递归神经网络（RNN）解决方案变得越来越流行。 洞察力在于，用户动作序列中存在一些固有的模式，并且事实证明，当对顺序数据进行建模时，RNN的表现非常出色。 在诸如语言建模之类的传统任务中，RNN解决方案通常仅考虑对象的顺序顺序，而没有间隔的概念。 但是，在RS中，用户动作之间的时间间隔对于捕获用户动作与传统RNN体系结构之间的关系非常重要，不利于对它们进行建模。 在本文中，我们提出了一个新的LSTM变体，即Time-LSTM，以对用户的顺序动作进行建模。 Time-LSTM为LSTM配备时间门，以对时间间隔进行建模。 这些时间门经过专门设计，因此与传统的RNN解决方案相比，Time-LSTM可以更好地捕捉用户的短期和长期利益，从而提高推荐性能。 对两个真实数据集的实验结果表明，使用Time-.LSTM推荐方法优于传统方法。
精通推荐算法24：行为序列建模之DIN -- 训练方法和代码实现
谢杨易的博客
08-19 1365
DIN虽然不是第一个进行用户行为序列建模的模型，但它解决了行为序列建模的关键，也就是Attention池化。在它的基础上，不断涌现了其他基于用户行为序列的推荐算法模型。主要围绕两大核心问题：序列如何建模。DIEN利用GRU时序模型，来建模用户行为兴趣的演化过程。BST则将NLP中大放异彩的Transformer结构引入推荐算法，进一步提升模型表达能力。长序列如何建模。头部用户的行为可能会特别频繁，其行为序列十分长。长序列建模可能会增加很多额外的计算量，对系统线上响应速度有一定挑战。
8篇论文详解用户历史行为序列建模方法
fareise的博客
03-13 3364
本文汇总了8篇推荐系统中对用户历史行为序列建模的方法，包括DIN、DIEN等经典模型。
召回和排序模型中的用户行为序列的建模
null的专栏
12-28 1003
用户历史行为数据对用户兴趣的挖掘至关重要，无论是召回阶段，还是排序阶段，都需要使用到这部分的数据，随着深度学习的发展，对行为数据的挖掘也在不断深入，从最初的简单的Pooling操作，到序列挖掘，到Attention的计算，到多兴趣的挖掘，对这部分数据的挖掘也会进一步提升模型的效果。
推荐系统｜行为序列_用户行为序列建模、Din模型和SIM模型
Fangyechy的博客
02-12 806
由于序列过大会造成运算次数的增加，而固执地采用后N个则会无法保持长期兴趣的数据，所以可以在保证序列长度固定的前提下，对N个挑选出来的对象进行操作。物品ID通过Embedding将会得到一个向量，性质差不多的向量在空间中也会处于差不多的位置，可以用取平均方式得到一个综合所有向量的向量。而这个所占的重量/占比，是需要和要查询的候选向量进行比较来得出，也就是所谓的相似度，相似度越大，受其影响也会越大。所谓的LastN是一种普通版本的平均，他考虑到了每一个物品，但并未考虑到每一个物品所占的重量。
DIN模型
bbbeoy的专栏
12-17 351
https://zhuanlan.zhihu.com/p/103552262?utm_source=wechat_session https://zhuanlan.zhihu.com/p/271912732 https://zhuanlan.zhihu.com/p/103092757 https://zhuanlan.zhihu.com/p/139417423
多元时间序列建模方法详细解析
在详细解释"多元时间序列建模"之前，我们需要了解时间序列以及多元分析的基本概念。时间序列是按照时间的顺序排列的观测值序列，通常用于分析和预测随时间变化的数据。多元时间序列，顾名思义，是指包含两个或两个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值