精通推荐算法26：行为序列建模之BST— Transformer建模用户行为序列

已于 2024-10-20 17:53:13 修改
阅读量1.3k 收藏 31
点赞数 29
分类专栏： 精通推荐算法 文章标签： 推荐算法 transformer 算法
于 2024-08-21 09:57:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013510838/article/details/141383063
版权

1 行为序列建模算法架构

2 BST背景

DIEN利用GRU循环神经网络来建模用户行为序列，捕获了用户行为的演变过程，以及行为间的相关关系，取得了非常不错的业务效果。但受制于GRU天然的串行计算方式，存在长程序列梯度弥散、串行计算影响速度等问题。在自然语言处理领域，Transformer自2017年提出以来，就席卷了整个行业，并在2018年BERT上线后大放异彩。2022

了解本专栏 订阅专栏 解锁全文 超级会员免费看
网易云音乐推荐中的用户行为序列深度建模
11-21 2588
导读：近年来，网易云音乐作为一匹黑马迅速在移动音乐APP占据市场，2016年用户量就突破了2亿，而这与它优质的推荐系统必不可分。网易云音乐推荐系统致力于通过AI算法的落地，实现千人千面的个性化音乐推荐系统。本文将重点介绍推荐系统在云音乐的落地实践，以及在音乐推荐系统中遇到的挑战和解决方案。使大家了解音乐场景下的多行为域的序列建模，包括用户多兴趣点挖掘、多空间长短期兴趣建模，以及音乐场景下的用户兴趣演化网络建模。主要内容包括： 网易云音乐简介 召回体系探索 精排模型演化历程
精通推荐算法6：用户行为序列建模 -- 总体架构
谢杨易的博客
05-29 2760
用户行为序列建模是推荐算法中至关重要的一环，也是目前较为核心和前沿的研究方向。其主要分为短序列建模和长序列建模两大方向。短序列建模又主要分为池化和序列化两种方式，其中池化包括求和池化、平均池化和最大值池化等非特征交叉型，和以DIN为代表的注意力池化。序列化则包括以DIEN为代表的RNN型，和以BST、DSIN等为代表的Transformer型。目前基于Transformer强大的特征抽取和并行计算能力，Transformer型已经成为了短序列建模的主流。长序列建模则更进一步，考虑如何挖掘用户长期兴趣。
【推荐实践】用户行为序列推荐模型
m0_37586850的博客
12-18 2272
文章作者：汪剑 出门问问算法工程师编辑整理：Hoh Xil导读：今天我们谈谈用户行为序列上的推荐模型。首先我们对序列推荐问题做一个定义和描述，然后主要讲述可以用在序列推荐任务中的 NN...
推荐系统实战（四）精排-用户行为序列建模
Willowii的博客
08-21 1753
用户行为序列是推荐系统中最重要的一类特征，比如用户的点击序列、观看序列等等。
数据挖掘——序列
zuoninger的专栏
11-28 1657
数据挖掘技术一般用于检测数据中的序列或模式。本章中，我们将试图使数据遵循一种模式，在此模式中，一个或一系列事件可以通过一致的方式预测另一个数据点。本文描述了在数据集中查找模式的不同方法： 查找模式 在数据中查找模式 约束条件 我们可以在很多较大的数据集中查找模式。这涵盖了很多区域，比如混合人口的变化、使用手机的频率、高速公路质量衰退、年龄因素造成的事故等。不过我们能明确地感受到，有很多模式和序列正...
洞察消费者心理：Transformer模型在消费者行为分析的创新应用
2401_85439108的博客
07-11 799
消费者行为分析是一个多维度的领域，涉及数据科学、心理学和市场营销等多个学科的知识，需要跨学科的合作和创新。Transformer模型，以其在处理序列数据方面的优势，为消费者行为分析提供了新的视角和工具。本文将深入探讨Transformer模型在消费者行为分析中的应用，并提供实际的代码示例。Transformer模型在消费者行为分析中的应用，为企业提供了一个强大的工具，以深入理解消费者的需求和偏好。消费者行为分析涉及对消费者购买模式、偏好、反馈等数据的收集和分析，以预测消费者需求和市场趋势。
推荐系统中的常用算法——行为序列Transformer(BST)
null的专栏
10-13 5164
1. 概述 2. 算法原理 参考文献 Chen Q , Zhao H , Li W , et al. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba[J]. 2019. 阿里推荐算法（BST）: 将Transformer用于淘宝电商推荐
行为序列建模：基于Transformer行为表征的BST推荐算法实践
2401_85375186的博客
06-04 760
从验证集AUC来看BST基本优于均值池化这种base模型，但是不能明显优于DIN，且预测耗时明显高于DIN，存在继续优化的必要。因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费。
BST行为序列Transformer模型
游戏数据科学
06-12 1328
阿里Qiwei Chen等人在2019年5月发表的论文《Behavior sequence transformer for e-commerce recommendation in Alibaba》，创造性地将Transformer模型应用于用户行为序列数据，开创了在用户数据上使用Transformer模型的新方向。特此将BST论文全文翻译，总共6107字，以供大家参考和学习。
BST：Transformer在推荐领域的应用
Kaiyuan_sjtu的博客
03-21 3174
作者| 知乎博主@青枫拂岸整理|NewBeeNLP阿里的搜索团队在2019 DLP-KDD上发表的《Behavior Sequence Transformer for E-comme...
下一步：通过Time-LSTM对用户行为进行建模
03-12
最近，推荐系统（RS）的递归神经网络（RNN）解决方案变得越来越流行。 洞察力在于，用户动作序列中存在一些固有的模式，并且事实证明，当对顺序数据进行建模时，RNN的表现非常出色。 在诸如语言建模之类的传统任务中，RNN解决方案通常仅考虑对象的顺序顺序，而没有间隔的概念。 但是，在RS中，用户动作之间的时间间隔对于捕获用户动作与传统RNN体系结构之间的关系非常重要，不利于对它们进行建模。 在本文中，我们提出了一个新的LSTM变体，即Time-LSTM，以对用户的顺序动作进行建模。 Time-LSTM为LSTM配备时间门，以对时间间隔进行建模。 这些时间门经过专门设计，因此与传统的RNN解决方案相比，Time-LSTM可以更好地捕捉用户的短期和长期利益，从而提高推荐性能。 对两个真实数据集的实验结果表明，使用Time-.LSTM推荐方法优于传统方法。
精通推荐算法27：行为序列建模之BST— 代码实现
谢杨易的博客
08-21 1268
上文讲解了BST的背景和模型结构，本文给出其代码实现，供大家参考。
精通推荐算法30：行为序列建模之SIM— 基于检索建模长周期行为序列
谢杨易的博客
09-15 1493
SIM通过先检索后建模的二阶段方式，有效将超长行为序列转化为了短序列。从而克服了离线建模时用户行为不能与候选物品交叉等问题，实现了在线建模。其Hardsearch和Soft-search检索方式的思考和落地，也充分体现了作者对业务特点的充分理解，是一次不错的理论结合实际。SIM工程落地也比较友好，特别是Hardsearch方案，已经被应用到了各大推荐场景。7。
精通推荐算法29：行为序列建模之MIMN— 记忆网络建模长周期行为序列
谢杨易的博客
09-07 1390
MIMN是工业界第一个解决长周期行为序列建模问题的模型，它巧妙结合了工程和算法，在DIEN的基础上，进一步显著提升了业务效果。其核心点主要有：通过UIC将行为序列建模从主模型中解耦出来，从而大大提升了主模型的推理速度，并使得长周期序列建模成为了可能。这是所有离线建模方案的核心。序列表征的更新机制十分巧妙。用户发生行为时，触发序列表征重新计算和更新。既避免了每次请求就更新带来的冗余计算量，也避免了每小时或每分钟定时更新带来的延迟。NTM记忆网络有效解决了GRU长程序列梯度弥散问题。
精通推荐算法24：行为序列建模之DIN -- 训练方法和代码实现
谢杨易的博客
08-19 1405
DIN虽然不是第一个进行用户行为序列建模的模型，但它解决了行为序列建模的关键，也就是Attention池化。在它的基础上，不断涌现了其他基于用户行为序列的推荐算法模型。主要围绕两大核心问题：序列如何建模。DIEN利用GRU时序模型，来建模用户行为兴趣的演化过程。BST则将NLP中大放异彩的Transformer结构引入推荐算法，进一步提升模型表达能力。长序列如何建模。头部用户的行为可能会特别频繁，其行为序列十分长。长序列建模可能会增加很多额外的计算量，对系统线上响应速度有一定挑战。
基于Transformer的序列建模
欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
01-01 878
基于Transformer的序列建模 关键词：Transformer, 序列建模, 自回归模型, 编码器-解码器模型, 自注意力机制, 位置编码, 掩码语言模型 1. 背景介绍 1.1 问题
NIPS2017｜行为序列建模的方式---Transformer
Blank_Space
09-02 1269
前言最近想研究序列推荐的内容，刚好看到行为序列建模的BST[1]序列模型运用了Transformer[2]结构，并且美团博客中也提到了“Transformer 在美团搜索排序中的实践”[...
RecSys行为序列建模-DIN系列
qq_41196438的博客
06-30 619
推荐系统行为序列建模-DIN1 特征处理2 Base模型3 DIN4 优化4.1 MBA Reg - Mini-batch Aware Regularization4.2 Dice - Data Adaptive Activation Function 《Deep Interest Network for Click-Through Rate Prediction》基于全部用户历史行为建模 1 特征处理 将稀疏特征特征分为四类 对于向量中任意位置 j 为 1，取对应编码矩阵的 j-th向量，multi-h
【广告推荐】用户行为序列建模（DIN、SIM）
weixin_41888257的博客
03-27 1951
上面 第一步的查找，把lastN物品缩小到 topK，排除掉的物品大概率和候选物品无关（相似度很低），排除之后几乎不会影响加权平均的结果。最终的 emb 是由各个 lastN 向量 加权得到的，权重是 各个lastN物品 & 候选物品的相似度 alpha。DIN 也是对 lastN 行为的一种建模方法，优于上面一节简单对 各个emb取平均。和DIN没有本质区别，主要区别是 lastN 变成了 topK。计算相似度的方法，如 cos、内积。简单平均 & 注意力机制的 区别。DIN 的本质是注意力机制。
时间序列预测中除了LSTM还有哪些常用模型？
最新发布
01-08
### 时间序列预测中的常用模型 #### ARIMA (AutoRegressive Integrated Moving Average) ARIMA 是一种经典的统计学方法，适用于线性和平稳的时间序列数据。该模型由三个部分组成：自回归（AR）、差分（I）和平滑移动平均（MA）。通过调整这三个参数 \(p\)、\(d\) 和 \(q\) 可以使模型适应不同的时间序列特性。 ```python from statsmodels.tsa.arima.model import ARIMA model = ARIMA(data, order=(5,1,0)) model_fit = model.fit() forecast = model_fit.forecast(steps=10) ``` #### Prophet Prophet 是 Facebook 开发的一种算法，专为商业应用设计，能够处理缺失的数据和异常值，并支持节假日效应建模。它基于加法或乘法模式来拟合趋势项、季节性成分和其他周期性的变化[^2]。 ```python from fbprophet import Prophet df['ds'] = df.index m = Prophet(yearly_seasonality=True) m.fit(df) future = m.make_future_dataframe(periods=365) forecast = m.predict(future) ``` #### XGBoost XGBoost 是梯度提升框架的一个实现，在许多结构化/表格型数据集上表现出色。对于时间序列预测而言，通常会先将时间特征转化为滞后变量或其他形式的输入特征再送入模型训练。 ```python import xgboost as xgb params = {'objective': 'reg:squarederror'} train_data = xgb.DMatrix(X_train, label=y_train) test_data = xgb.DMatrix(X_test) bst = xgb.train(params=params, dtrain=train_data) predictions = bst.predict(test_data) ``` #### Transformer-Based Models 近年来兴起的一类新架构——Transformer及其变体也逐渐被应用于时间序列分析领域。这类模型利用注意力机制捕捉长时间跨度内的依赖关系，尤其适合那些存在复杂长期依赖的任务[^3]。 ```python import torch.nn as nn class TimeSeriesTransformer(nn.Module): def __init__(self, input_dim, hidden_size, num_layers, output_dim): super(TimeSeriesTransformer, self).__init__() self.transformer_layer = nn.TransformerEncoderLayer(d_model=input_dim, nhead=8) self.encoder = nn.TransformerEncoder(self.transformer_layer, num_layers=num_layers) self.fc_out = nn.Linear(hidden_size, output_dim) def forward(self, src): out = self.encoder(src) out = self.fc_out(out[-1]) return out ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

谢杨易

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值