精通推荐算法26：行为序列建模之BST— Transformer建模用户行为序列

已于 2024-10-20 17:53:13 修改
阅读量1.3k 收藏 31
点赞数 29
分类专栏： 精通推荐算法 文章标签： 推荐算法 transformer 算法
于 2024-08-21 09:57:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013510838/article/details/141383063
版权

1 行为序列建模算法架构

2 BST背景

DIEN利用GRU循环神经网络来建模用户行为序列，捕获了用户行为的演变过程，以及行为间的相关关系，取得了非常不错的业务效果。但受制于GRU天然的串行计算方式，存在长程序列梯度弥散、串行计算影响速度等问题。在自然语言处理领域，Transformer自2017年提出以来，就席卷了整个行业，并在2018年BERT上线后大放异彩。2022

了解本专栏 订阅专栏 解锁全文 超级会员免费看
网易云音乐推荐中的用户行为序列深度建模
11-21 2588
导读：近年来，网易云音乐作为一匹黑马迅速在移动音乐APP占据市场，2016年用户量就突破了2亿，而这与它优质的推荐系统必不可分。网易云音乐推荐系统致力于通过AI算法的落地，实现千人千面的个性化音乐推荐系统。本文将重点介绍推荐系统在云音乐的落地实践，以及在音乐推荐系统中遇到的挑战和解决方案。使大家了解音乐场景下的多行为域的序列建模，包括用户多兴趣点挖掘、多空间长短期兴趣建模，以及音乐场景下的用户兴趣演化网络建模。主要内容包括： 网易云音乐简介 召回体系探索 精排模型演化历程
精通推荐算法6：用户行为序列建模 -- 总体架构
谢杨易的博客
05-29 2759
用户行为序列建模是推荐算法中至关重要的一环，也是目前较为核心和前沿的研究方向。其主要分为短序列建模和长序列建模两大方向。短序列建模又主要分为池化和序列化两种方式，其中池化包括求和池化、平均池化和最大值池化等非特征交叉型，和以DIN为代表的注意力池化。序列化则包括以DIEN为代表的RNN型，和以BST、DSIN等为代表的Transformer型。目前基于Transformer强大的特征抽取和并行计算能力，Transformer型已经成为了短序列建模的主流。长序列建模则更进一步，考虑如何挖掘用户长期兴趣。
【推荐实践】用户行为序列推荐模型
m0_37586850的博客
12-18 2271
文章作者：汪剑 出门问问算法工程师编辑整理：Hoh Xil导读：今天我们谈谈用户行为序列上的推荐模型。首先我们对序列推荐问题做一个定义和描述，然后主要讲述可以用在序列推荐任务中的 NN...
推荐系统实战（四）精排-用户行为序列建模
Willowii的博客
08-21 1752
用户行为序列是推荐系统中最重要的一类特征，比如用户的点击序列、观看序列等等。
数据挖掘——序列
zuoninger的专栏
11-28 1656
数据挖掘技术一般用于检测数据中的序列或模式。本章中，我们将试图使数据遵循一种模式，在此模式中，一个或一系列事件可以通过一致的方式预测另一个数据点。本文描述了在数据集中查找模式的不同方法： 查找模式 在数据中查找模式 约束条件 我们可以在很多较大的数据集中查找模式。这涵盖了很多区域，比如混合人口的变化、使用手机的频率、高速公路质量衰退、年龄因素造成的事故等。不过我们能明确地感受到，有很多模式和序列正...
洞察消费者心理：Transformer模型在消费者行为分析的创新应用
2401_85439108的博客
07-11 799
消费者行为分析是一个多维度的领域，涉及数据科学、心理学和市场营销等多个学科的知识，需要跨学科的合作和创新。Transformer模型，以其在处理序列数据方面的优势，为消费者行为分析提供了新的视角和工具。本文将深入探讨Transformer模型在消费者行为分析中的应用，并提供实际的代码示例。Transformer模型在消费者行为分析中的应用，为企业提供了一个强大的工具，以深入理解消费者的需求和偏好。消费者行为分析涉及对消费者购买模式、偏好、反馈等数据的收集和分析，以预测消费者需求和市场趋势。
推荐系统中的常用算法——行为序列Transformer(BST)
null的专栏
10-13 5161
1. 概述 2. 算法原理 参考文献 Chen Q , Zhao H , Li W , et al. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba[J]. 2019. 阿里推荐算法（BST）: 将Transformer用于淘宝电商推荐
行为序列建模：基于Transformer行为表征的BST推荐算法实践
2401_85375186的博客
06-04 759
从验证集AUC来看BST基本优于均值池化这种base模型，但是不能明显优于DIN，且预测耗时明显高于DIN，存在继续优化的必要。因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费。
BST行为序列Transformer模型
游戏数据科学
06-12 1327
阿里Qiwei Chen等人在2019年5月发表的论文《Behavior sequence transformer for e-commerce recommendation in Alibaba》，创造性地将Transformer模型应用于用户行为序列数据，开创了在用户数据上使用Transformer模型的新方向。特此将BST论文全文翻译，总共6107字，以供大家参考和学习。
BST：Transformer在推荐领域的应用
Kaiyuan_sjtu的博客
03-21 3171
作者| 知乎博主@青枫拂岸整理|NewBeeNLP阿里的搜索团队在2019 DLP-KDD上发表的《Behavior Sequence Transformer for E-comme...
下一步：通过Time-LSTM对用户行为进行建模
03-12
最近，推荐系统（RS）的递归神经网络（RNN）解决方案变得越来越流行。 洞察力在于，用户动作序列中存在一些固有的模式，并且事实证明，当对顺序数据进行建模时，RNN的表现非常出色。 在诸如语言建模之类的传统任务中，RNN解决方案通常仅考虑对象的顺序顺序，而没有间隔的概念。 但是，在RS中，用户动作之间的时间间隔对于捕获用户动作与传统RNN体系结构之间的关系非常重要，不利于对它们进行建模。 在本文中，我们提出了一个新的LSTM变体，即Time-LSTM，以对用户的顺序动作进行建模。 Time-LSTM为LSTM配备时间门，以对时间间隔进行建模。 这些时间门经过专门设计，因此与传统的RNN解决方案相比，Time-LSTM可以更好地捕捉用户的短期和长期利益，从而提高推荐性能。 对两个真实数据集的实验结果表明，使用Time-.LSTM推荐方法优于传统方法。
精通推荐算法27：行为序列建模之BST— 代码实现
谢杨易的博客
08-21 1268
上文讲解了BST的背景和模型结构，本文给出其代码实现，供大家参考。
精通推荐算法30：行为序列建模之SIM— 基于检索建模长周期行为序列
谢杨易的博客
09-15 1490
SIM通过先检索后建模的二阶段方式，有效将超长行为序列转化为了短序列。从而克服了离线建模时用户行为不能与候选物品交叉等问题，实现了在线建模。其Hardsearch和Soft-search检索方式的思考和落地，也充分体现了作者对业务特点的充分理解，是一次不错的理论结合实际。SIM工程落地也比较友好，特别是Hardsearch方案，已经被应用到了各大推荐场景。7。
精通推荐算法29：行为序列建模之MIMN— 记忆网络建模长周期行为序列
谢杨易的博客
09-07 1390
MIMN是工业界第一个解决长周期行为序列建模问题的模型，它巧妙结合了工程和算法，在DIEN的基础上，进一步显著提升了业务效果。其核心点主要有：通过UIC将行为序列建模从主模型中解耦出来，从而大大提升了主模型的推理速度，并使得长周期序列建模成为了可能。这是所有离线建模方案的核心。序列表征的更新机制十分巧妙。用户发生行为时，触发序列表征重新计算和更新。既避免了每次请求就更新带来的冗余计算量，也避免了每小时或每分钟定时更新带来的延迟。NTM记忆网络有效解决了GRU长程序列梯度弥散问题。
精通推荐算法24：行为序列建模之DIN -- 训练方法和代码实现
谢杨易的博客
08-19 1404
DIN虽然不是第一个进行用户行为序列建模的模型，但它解决了行为序列建模的关键，也就是Attention池化。在它的基础上，不断涌现了其他基于用户行为序列的推荐算法模型。主要围绕两大核心问题：序列如何建模。DIEN利用GRU时序模型，来建模用户行为兴趣的演化过程。BST则将NLP中大放异彩的Transformer结构引入推荐算法，进一步提升模型表达能力。长序列如何建模。头部用户的行为可能会特别频繁，其行为序列十分长。长序列建模可能会增加很多额外的计算量，对系统线上响应速度有一定挑战。
基于Transformer的序列建模
欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
01-01 878
基于Transformer的序列建模 关键词：Transformer, 序列建模, 自回归模型, 编码器-解码器模型, 自注意力机制, 位置编码, 掩码语言模型 1. 背景介绍 1.1 问题
NIPS2017｜行为序列建模的方式---Transformer
Blank_Space
09-02 1269
前言最近想研究序列推荐的内容，刚好看到行为序列建模的BST[1]序列模型运用了Transformer[2]结构，并且美团博客中也提到了“Transformer 在美团搜索排序中的实践”[...
RecSys行为序列建模-DIN系列
qq_41196438的博客
06-30 618
推荐系统行为序列建模-DIN1 特征处理2 Base模型3 DIN4 优化4.1 MBA Reg - Mini-batch Aware Regularization4.2 Dice - Data Adaptive Activation Function 《Deep Interest Network for Click-Through Rate Prediction》基于全部用户历史行为建模 1 特征处理 将稀疏特征特征分为四类 对于向量中任意位置 j 为 1，取对应编码矩阵的 j-th向量，multi-h
【广告推荐】用户行为序列建模（DIN、SIM）
weixin_41888257的博客
03-27 1951
上面 第一步的查找，把lastN物品缩小到 topK，排除掉的物品大概率和候选物品无关（相似度很低），排除之后几乎不会影响加权平均的结果。最终的 emb 是由各个 lastN 向量 加权得到的，权重是 各个lastN物品 & 候选物品的相似度 alpha。DIN 也是对 lastN 行为的一种建模方法，优于上面一节简单对 各个emb取平均。和DIN没有本质区别，主要区别是 lastN 变成了 topK。计算相似度的方法，如 cos、内积。简单平均 & 注意力机制的 区别。DIN 的本质是注意力机制。
时间序列预测中除了LSTM还有哪些常用模型？
最新发布
01-08
Prophet 是 Facebook 开发的一种算法，专为商业应用设计，能够处理缺失的数据和异常值，并支持节假日效应建模。它基于加法或乘法模式来拟合趋势项、季节性成分和其他周期性的变化[^2]。 ```python from fbprophet ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

谢杨易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值