【广告推荐】用户行为序列建模（DIN、SIM）

最新推荐文章于 2025-04-26 19:37:24 发布
最新推荐文章于 2025-04-26 19:37:24 发布
阅读量1.9k 收藏 6
点赞数 5
文章标签： 推荐算法 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41888257/article/details/137088347
版权
文章探讨了如何通过用户行为序列建模，如lastN行为序列和DIN/SIM模型，来增强召回、粗排和精排过程中的用户特征表示。小红书实践中，结合不同行为向量和物品类别信息提高了效果。DIN模型通过注意力机制优化，而SIM则关注长期兴趣并控制计算成本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、用户行为序列建模

  • 用户行为序列特征加到 召回、粗排、精排，都会有收益

1.1 普通多目标排序模型

下面是普通的多目标排序模型
在这里插入图片描述

1.2 用户的 lastN 行为序列

  • 这里重点关注 “用户特征” 中的 lastN 行为序列，也就是用户最近交互（曝光、点击、转化等等）过的 N 个物品序列（物品id序列、物品类目序列）
  • 做embedding：把N个物品id映射成N个向量，最后对向量取平均得到一个向量，这个向量可以作为用户的一种特征，表示用户过去对哪些物品感兴趣

在这里插入图片描述
在这里插入图片描述

1、小红书实践

  • 把点击、点赞、收藏等不同行为的 最终的多个向量 cancat 起来，作为用户特征
  • 在取lastN的时候，不仅会使用物品id，还会使用物品类目，把物品id emb和其他特征的emb拼起来，比只用id emb的效果更好
最低0.47元/天 解锁文章
苏学算法
关注
网易云音乐推荐中的用户行为序列深度建模
11-21 2588
导读：近年来，网易云音乐作为一匹黑马迅速在移动音乐APP占据市场，2016年用户量就突破了2亿，而这与它优质的推荐系统必不可分。网易云音乐推荐系统致力于通过AI算法的落地，实现千人千面的个性化音乐推荐系统。本文将重点介绍推荐系统在云音乐的落地实践，以及在音乐推荐系统中遇到的挑战和解决方案。使大家了解音乐场景下的多行为域的序列建模，包括用户多兴趣点挖掘、多空间长短期兴趣建模，以及音乐场景下的用户兴趣演化网络建模。主要内容包括： 网易云音乐简介 召回体系探索 精排模型演化历程
推荐系统（十）用户行为序列建模-Pooling 路线
Jin_Kwok的博客
07-25 3996
用户历史行为是非常重要的信息。基于丰富、不同用户差异大、随时间不断变化的行为数据，如何有效利用这些信息，挖掘出用户隐藏在行为背后的真正兴趣，从而将其准确表达出来，既能体现出不同用户的差异性，又能捕捉到用户兴趣随着时间的变化，对推荐效果非常关键。
DIN模型和SIM模型原理与实践
qq_41502322的博客
10-17 1551
对比DIN，user侧的。被换成了上一步查找到的。
阿里DIN和SIM模型的分享
Maggie_JK的博客
08-14 313
query和key计算activation weight，然后value再和activation weight相乘，得到新的embedding表示。解决的问题：用户行为序列很长的时候，DIN模型计算量会巨大，如果粗暴的只选前100作为用户行为序列，会丢掉用户的长期行为兴趣。将用户行为序列中的所有商品embedding相加，得到最后的用户行为embedding。通过商品类目进行筛选，只有和候选广告类目相同的用户行为数据才会被选出送到下一级进行建模。解决方案：用户行为序列先筛选一波，再进入模型。
浅谈阿里巴巴DIN模型原理
最新发布
zhuzerui1983的博客
04-26 534
传统模型的局限性：传统模型（如Embedding+MLP）将用户历史行为通过固定池化操作（如平均池化或求和池化）压缩为单一向量，无法区分不同候选广告与用户兴趣的相关性。阿里巴巴的深度兴趣网络（Deep Interest Network，DIN）是一种针对点击率预估（CTR）的深度学习模型，专为电商场景设计，旨在动态捕捉用户多样化的兴趣特征。DIN的改进：DIN引入注意力机制（局部激活单元），根据候选广告动态调整用户历史行为的权重，从而生成与广告相关的自适应用户兴趣表示，即“千物千面”的用户兴趣向量。
【推荐实践】用户行为序列推荐模型
m0_37586850的博客
12-18 2271
文章作者：汪剑 出门问问算法工程师编辑整理：Hoh Xil导读：今天我们谈谈用户行为序列上的推荐模型。首先我们对序列推荐问题做一个定义和描述，然后主要讲述可以用在序列推荐任务中的 NN...
推荐系统实战（四）精排-用户行为序列建模
Willowii的博客
08-21 1749
用户行为序列是推荐系统中最重要的一类特征，比如用户的点击序列、观看序列等等。
精通推荐算法6：用户行为序列建模 -- 总体架构
谢杨易的博客
05-29 2758
用户行为序列建模是推荐算法中至关重要的一环，也是目前较为核心和前沿的研究方向。其主要分为短序列建模和长序列建模两大方向。短序列建模又主要分为池化和序列化两种方式，其中池化包括求和池化、平均池化和最大值池化等非特征交叉型，和以DIN为代表的注意力池化。序列化则包括以DIEN为代表的RNN型，和以BST、DSIN等为代表的Transformer型。目前基于Transformer强大的特征抽取和并行计算能力，Transformer型已经成为了短序列建模的主流。长序列建模则更进一步，考虑如何挖掘用户长期兴趣。
精通推荐算法30：行为序列建模之SIM— 基于检索建模长周期行为序列
谢杨易的博客
09-15 1486
SIM通过先检索后建模的二阶段方式，有效将超长行为序列转化为了短序列。从而克服了离线建模时用户行为不能与候选物品交叉等问题，实现了在线建模。其Hardsearch和Soft-search检索方式的思考和落地，也充分体现了作者对业务特点的充分理解，是一次不错的理论结合实际。SIM工程落地也比较友好，特别是Hardsearch方案，已经被应用到了各大推荐场景。7。
精通推荐算法24：行为序列建模之DIN -- 训练方法和代码实现
谢杨易的博客
08-19 1403
DIN虽然不是第一个进行用户行为序列建模的模型，但它解决了行为序列建模的关键，也就是Attention池化。在它的基础上，不断涌现了其他基于用户行为序列的推荐算法模型。主要围绕两大核心问题：序列如何建模。DIEN利用GRU时序模型，来建模用户行为兴趣的演化过程。BST则将NLP中大放异彩的Transformer结构引入推荐算法，进一步提升模型表达能力。长序列如何建模。头部用户的行为可能会特别频繁，其行为序列十分长。长序列建模可能会增加很多额外的计算量，对系统线上响应速度有一定挑战。
8篇论文详解用户历史行为序列建模方法
fareise的博客
03-13 3391
本文汇总了8篇推荐系统中对用户历史行为序列建模的方法，包括DIN、DIEN等经典模型。
下一步：通过Time-LSTM对用户行为进行建模
03-12
最近，推荐系统（RS）的递归神经网络（RNN）解决方案变得越来越流行。 洞察力在于，用户动作序列中存在一些固有的模式，并且事实证明，当对顺序数据进行建模时，RNN的表现非常出色。 在诸如语言建模之类的传统任务中，RNN解决方案通常仅考虑对象的顺序顺序，而没有间隔的概念。 但是，在RS中，用户动作之间的时间间隔对于捕获用户动作与传统RNN体系结构之间的关系非常重要，不利于对它们进行建模。 在本文中，我们提出了一个新的LSTM变体，即Time-LSTM，以对用户的顺序动作进行建模。 Time-LSTM为LSTM配备时间门，以对时间间隔进行建模。 这些时间门经过专门设计，因此与传统的RNN解决方案相比，Time-LSTM可以更好地捕捉用户的短期和长期利益，从而提高推荐性能。 对两个真实数据集的实验结果表明，使用Time-.LSTM推荐方法优于传统方法。
召回和排序模型中的用户行为序列的建模
null的专栏
12-28 1032
用户历史行为数据对用户兴趣的挖掘至关重要，无论是召回阶段，还是排序阶段，都需要使用到这部分的数据，随着深度学习的发展，对行为数据的挖掘也在不断深入，从最初的简单的Pooling操作，到序列挖掘，到Attention的计算，到多兴趣的挖掘，对这部分数据的挖掘也会进一步提升模型的效果。
推荐系统｜行为序列_用户行为序列建模、Din模型和SIM模型
Fangyechy的博客
02-12 828
由于序列过大会造成运算次数的增加，而固执地采用后N个则会无法保持长期兴趣的数据，所以可以在保证序列长度固定的前提下，对N个挑选出来的对象进行操作。物品ID通过Embedding将会得到一个向量，性质差不多的向量在空间中也会处于差不多的位置，可以用取平均方式得到一个综合所有向量的向量。而这个所占的重量/占比，是需要和要查询的候选向量进行比较来得出，也就是所谓的相似度，相似度越大，受其影响也会越大。所谓的LastN是一种普通版本的平均，他考虑到了每一个物品，但并未考虑到每一个物品所占的重量。
DIN模型
qq_42586738的博客
02-23 957
我们先看base模型 在DIN出现之前，推荐系统或者广告系统的做法通常是将高维的稀疏输入通过一个embedding层转化为低维稠密的特征表示，之后将同类的embedding特征通过pooling的方式（sum pooling或者avg pooling）转化为固定长度的特征（embedding+pooling这两步在笔者看来其实等价于一个单层神经网络的作用，embedding特征对应权重矩阵），最后将不同类特征拼接起来输入到深度神经网络中进行训练。（如下图所示） 这 ...
RecSys行为序列建模-DIN系列
qq_41196438的博客
06-30 618
推荐系统行为序列建模-DIN1 特征处理2 Base模型3 DIN4 优化4.1 MBA Reg - Mini-batch Aware Regularization4.2 Dice - Data Adaptive Activation Function 《Deep Interest Network for Click-Through Rate Prediction》基于全部用户历史行为建模 1 特征处理 将稀疏特征特征分为四类 对于向量中任意位置 j 为 1，取对应编码矩阵的 j-th向量，multi-h
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值