bert4rec简介

最新推荐文章于 2024-08-16 08:10:34 发布
最新推荐文章于 2024-08-16 08:10:34 发布
阅读量2.3k 收藏 4
点赞数 2
分类专栏： 机器学习 自然语言处理 深度学习 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013069552/article/details/131250923
版权

1、bert4rec提出动机

用户行为动态变化，序列行为建模取得了不错的效果

单向结构限制了行为序列中隐藏信息的挖掘

序列神经网络顺序依赖，无法并行计算

为此，提出了

  • 基于双向self-attention和Cloze task的用户行为序列建模方法。据我们所知，这是第一个将深度序列模型和Cloze task引入推荐系统的研究。
  • 将我们的模型与最先进的方法进行了比较，并通过对四个基准数据集的定量分析，证明了本文算法的有效性。
  • 我们进行了一项消融分析，分析了模型中关键部件的贡献。

2、bert4rec结构

2.1、推荐中行为序列建模的问题定义

2.2、模型的结构

2.2.1、模型整体结构

bert4rec整体架构如下图(b)所示，bert4rec是一个含有L层的transformer，每一层都可以利用上一层的信息，通过self-attention并行捕获任意位置的信息。

2.2.2、模型结构拆解

由上图(a)所示，bert4rec的transformer由multi-head self-attention和position-wise ffn构成。

2.2.2.1、Embedding layer

Embedding层加入了位置嵌入，本文的位置向量是学到的，不是transformer中的正弦。位置向量矩阵可以给定任意位置的向量，但是要明确最大的长度，因此需要对输入序列进行截断。

 

2.2.2.2、multi-head self-attention

引入温度 以产生更柔和的注意力分布，以避免极小的梯度

2.2.2.3、position-wise FFN

由于只有线性映射，为了使得模型具有非线性的性质，所以采用了Position-wise Feed-Forward Network。Position-wise的意思是说，每个位置上的向量分别输入到前向神经网络中，计算方式如下：

最终的隐层向量表示为

 

2.2.2.4、 Output layer

全链接层的一个映射

3、模型训练

预测下一个item的表示形式

输入为   ，向右shift一个即得到下一个序列的预测    

而在BERT4Rec中，由于是双向模型，每一个item的最终输出表示都包含了要预测物品的信息，这样就造成了一定程度的信息泄漏。因此采用Cloze taske，也就是将输入序列中的p%的物品进行masked，然后根据上下文信息预测masked的物品。

损失函数

4、实验对比

4.1、数据集

4.2、评价指标

在top-K推荐中，HR是一种常用的衡量召回率的指标，计算公式为：

分母是所有的测试集合，分子表示每个用户top-K列表中属于测试集合的个数的总和。

举个简单的例子，三个用户在测试集中的商品个数分别是10，12，8，模型得到的top-10推荐列表中，分别有6个，5个，4个在测试集中，那么此时HR的值是
(6+5+4)/(10+12+8) = 0.5。

4.3、实验对比方法

POP：最简单的基线，根据ud统计信息来排序（受欢迎程度）。

BPR-MF [39]：它使用成对排序损失优化带有隐式反馈的矩阵分解。

NCF [12]：它在mlp中模拟用户与item交互，而不是矩阵分解中的内积。

FPMC [40]：它通过将 MF 与一阶 MC 相结合来捕捉用户的喜好及其行为序列。

GRU4Rec [15]：它使用 GRU 和基于排名的损失来建模 基于会话的推荐的用户序列。

GRU4Rec+ [14]：它是 GRU4Rec 的改进版本，具有一类新的损失函数和采样策略。

Caser [49]：它在水平和垂直方向都使用了 CNN 为顺序推荐建模高阶 MC 的方法。

SASRec [22]：它使用从左到右的 Transformer 语言 模型来捕获用户的顺序行为

4.4、实验数据对比

不同数据集上效率指标的比较

双向transformer的影响

BERT4Rec (1 mask)表示每条序列中只mask一个词

序列最大长度对实验的影响

实验参数/结构对实验的影响

5、参考文档

BERT4Rec:使用Bert进行序列推荐 - 知乎 （BERT4Rec:使用Bert进行序列推荐）

https://arxiv.org/pdf/1904.06690.pdf （论文地址）

BERT4Rec:使用Bert进行序列推荐 - 知乎 （知乎 bert4rec）

https://arxiv.org/pdf/1904.06690.pdf （bert4rec论文）

Self-Attention与Transformer (Self-Attention与Transformer)

从Transformer到BERT模型 (从Transformer到BERT模型)

BERT模型精讲 (BERT模型精讲)

推荐算法常用评价指标：NDCG、MAP、MRR、HR、ILS、ROC、AUC、F1等_mrr和map计算f1_十三吖的博客-CSDN博客

2021-08-27 BERT4Rec简介
强化学习曾小健
08-27 775
1. BERT4Rec简介 根据用户历史的行为，对用户动态的偏好进行建模，对于推荐系统来说是有挑战的和重要的。之前的算法使用序列神经网络从左向右地编码用户的历史交互信息为隐含表示，进而进行推荐，因此只利用了单向的信息进行建模。尽管它们是有效的，但由于存在以下限制，我们认为这种从左到右的单向模型是次优的： 单向结构限制了用户行为序列中隐藏表示的能力； 之前的序列神经网络经常采用严格有序的序列，这并不总是可行的； 为了解决这些限制，我们提出了一个称为BERT4Rec的序列推荐模型，该模型采用深层的双向自注
【推荐算法论文阅读】BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Trans
qq_36643449的博客
01-25 2076
一、背景 之前基于RNN的推荐模型都是按照从左到右单向建模的，单向结构限制了用户行为序列中隐藏表示的能力——它们通常假定一个严格有序的序列，而这并不总是实用的。 本文提出了 bert4rec，应用deep biderectional self-attention 来对用户的行为序列进行建模的。为了避免信息泄露，高效的训练双向模型，我们采用Cloze目标来进行顺序推荐，预测序列中的随机mask项，通过对其上下文的联合条件进行预测序列中随机mask的items。 二、Bert4Rec 1. 问题定义 U={u1
聊天机器人之 BERT4Rec, 使用Bert进行序列推荐
Chatopera
10-20 2374
目录0. 本文概览1. BERT4Rec简介2. 背景3. BERT4Rec模型介绍3.1 问题定义3.2 模型结构3.4 Embedding层3.5 Output层3.6 模型训练和预测4. 实验5. 个人感悟6. Reference 0. 本文概览 今天给大家介绍一篇BERT用于推荐系统的文章，题目是《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》，文章作者都
阿里推荐算法：BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transform
DanyHgc的博客
10-04 1344
阿里推荐算法：BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer 注意： 1.bert用在推荐系统中，将用户的历史序列看做是词序列。 2.测试时，将序列的最后一个item进行masked Abstract： 根据用户历史的行为信息，对用户动态的偏好衍变进行建模，是对推荐系统产生的巨大挑战。现有算法使用序列神经网络，只能从左向右，利用单向信息进行建模。尽管这些放大得到了很
BERT4Rec：当NLP王者BERT进军推荐领域
Kaiyuan_sjtu的博客
04-02 3152
作者| 知乎博主@青枫拂岸整理|NewBeeNLPCIKM2019上，阿里发表了《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》[1]，继BST将Transformer之后，又一次将NLP领域中前沿技术迁移到了推荐领域。...
Bert4rec : sequential recommendation with bidirectional encoder representations from transformer
真的是个瘦子
12-25 1685
局限性： 之前的模型时从左到右的 单向结构限制了用户行为序列中隐藏表示的能力； 它们通常假定一个严格有序的序列，而这并不总是实用的。 提出了 bert4rec 是应用deep biderectional self-attention 来对用户的行为序列进行建模的。 为了避免信息泄露，高效的训练双向模型，我们采用Cloze目标来进行顺序推荐，预测序列中的随机蒙面项，通过对其上下文的联合条件进行预...
Bert4Rec纸张复制品.0.zip
01-08
BERT4Rec纸张复制品涉及的是关于BERT4Rec模型的复现和应用，BERT4Rec是一种基于BERT（Bidirectional Encoder Representations from Transformers）的序列建模算法，主要用于推荐系统中的序列预测任务。具体来说，...
推荐算法炼丹笔记：序列化推荐算法Bert4Rec
炼丹笔记
12-13 1745
作者：一元 公众号：炼丹笔记 之前和海归博士朋友聊天，他说，这篇文章是他所有的复现算法中，处理序列最好的算法之一。原本以为Bert只常见于NLP中，本文我们一起详细地阅读学习一下如何使用Bert来做推荐系统并取得最好的效果的。之前我们的序列化模型从左到右的无向模型是次优的，单向体系结构限制了隐藏表示在用户行为序列中的能力；假设一个严格有序的序列，这并是实用的;本文是最早使用Bert方法来处理...
会话/序列推荐：Caser、SASRec、BERT4Rec [Session based / Sequential Recommendation]
Dive的博客
07-14 3427
目录Caser3 模型3.1 嵌入层3.2 卷积层3.3 全连接层3.4 训练3.6 与一些模型的关系 Caser 2018-WSDM-Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding 卷积序列推荐模型Caser，使用CNN从近期items序列中以局部特征的方式提取序列模式。 3 模型 为了捕获 用户的整体偏好和序列模式 联合级别和单独级别的i2i skip行为连接 3.1 嵌入层 use
BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer
笔记杂谈
06-21 4644
Abstract： 根据用户历史的行为信息，对用户动态的偏好衍变进行建模，是对推荐系统产生的巨大挑战。现有算法使用序列神经网络，只能从左向右，利用单向信息进行建模。尽管这些放大得到了很好的效果，但是他们设定的严格顺序是不实际的。因此，本文提出针对推荐系统的transformer的双向编码器表示。由于利用深度双向信息会造成信息的泄露，为了解决这个问题，本文使用Cloze task训练模型，利用上下...
bertSpytorch
04-10
bertSpytorch 项目将集成bert系列的模型，目前开发了bert基础版本，其它bert家族模型持续开发中~~ examples 以情感分类为样例，举例说明使用方法。 鸣谢 感谢苏剑林大佬实现的bert4keras，实现过程中很多地方参考了他的设计思路和源码部署思路，在此衷心感谢大佬们的无私奉献。 名字由来 bertSpytorch的出现也是基于他的灵感，S为sequence的缩写，也是本人姓的首字母，bert也鸣谢了大佬们的无私奉献，pytorch是最近使用框架的心头好，nice，bertSpytorch就出现了。
探索BERT4Rec：利用预训练模型优化推荐系统的新尝试
gitblog_00027的博客
04-16 610
探索BERT4Rec：利用预训练模型优化推荐系统的新尝试 BERT4Rec项目地址:https://gitcode.com/gh_mirrors/be/BERT4Rec 在大数据和人工智能的交汇处，推荐系统已经成为了许多在线服务的核心组成部分。而是一个独特的开源项目，它将Transformer架构中的明星模型BERT应用于序列推荐任务，以提高个性化推荐的准确性和用户体验。 项目简介 BERT4R...
BERT4Rec论文阅读笔记
superY_26的博客
11-08 634
通过用户的历史行为建模用户的动态兴趣偏好，对推荐系统来说，是具有挑战性且重要的。现有模型利用序列神经网络模型将用户的历史行为交互从左到右编码成隐含表示用做推荐。尽管他们的效果不错，我们认为这样从左到右的单向模型不是最优的，因为以下一些限制：a)单向架构限制了用户行为序列隐含表示的能力；b)它们经常假设一个严格有序的序列，并不总是切合实际。为了解决这些限制，我们提出了一个序列推荐模型（BERT4Rec），利用深度双向自注意力建模用户行为序列。
BERT4Rec 开源项目教程
gitblog_00040的博客
08-16 926
BERT4Rec 开源项目教程 项目地址:https://gitcode.com/gh_mirrors/be/BERT4Rec 项目介绍 BERT4Rec 是一个基于双向编码器表示的序列推荐模型，由 Fei Sun 等人开发。该项目在 GitHub 上开源，旨在通过双向编码器从用户的交互历史中学习动态和演化的偏好，从而提高推荐系统的性能。BERT4Rec 借鉴了自然语言处理中的 BERT 模型，通...
BERT4Rec: 序列推荐模型安装与使用指南
gitblog_00329的博客
08-16 1048
BERT4Rec: 序列推荐模型安装与使用指南 BERT4Rec项目地址:https://gitcode.com/gh_mirrors/be/BERT4Rec 目录结构及介绍 在下载并解压BERT4Rec项目之后，您将看到以下主要文件和目录： bert4rec: 主要源代码目录。 model.py: 定义了BERT4Rec的主要架构，包括双向编码器表示从Transformer中提取序列推荐...
BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer阅读笔记
pocket_eight的博客
06-28 442
BERTRec (arxiv) 一篇2019的文章，浅读一下从用户的历史行为中对其动态偏好进行建模，对于推荐系统来说是具有挑战性的，也是至关重要的。以前的方法采用顺序神经网络将用户的历史交互行为从左到右编码为隐性表征，以便进行推荐。尽管它们很有效，但我们认为这种从左到右的单向模型是次优的，因为其局限性包括：a）单向架构限制了用户行为序列中隐藏表征的能力；b）它们通常假设一个严格的顺序，这并不总是实用的。为了解决这些局限性，我们提出了一个名为BERT4Rec的顺序推荐模型，它采用了深度双向自我关注来模拟用户行
简洁优美的深度学习包-bert4keras
weixin_44597588的博客
04-01 6054
简洁优美的bert4keras
Bert4torch 快速入门实战教程非常详细
机器学习深度学习业余选手
08-08 1152
Bert4torch 快速入门实战教程非常详细
BERT4Rec:基于双向transformer编码表示的序列化推荐
qq_35148758的博客
07-07 2000
BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer 摘要 这篇阿里提出的论文，将BERT中提出的双向transformer编码器用于序列化推荐中。然而在双向深度模型中，同时基于左右两个条件会使训练不起作用，因为每个item都可以直接看到terget item。...
BERT4REC+
最新发布
03-22
### BERT4REC 实现及其在推荐系统中的应用 #### 背景介绍 BERT4REC 是一种基于 Transformer 的序列化推荐算法，其核心思想来源于自然语言处理领域的双向编码器表示（Bidirectional Encoder Representations from Transformers）。该方法通过建模用户的交互历史来预测下一个可能的行为。它利用掩码语言模型（Masked Language Model, MLM）和因果语言模型（Causal Language Model, CLM），从而捕捉用户行为的上下文关系。 在推荐系统的背景下，BERT4REC 将用户的历史交互视为一系列 token 序列，并尝试通过对这些序列的学习来进行个性化推荐[^1]。 --- #### 技术实现要点 以下是 BERT4REC 在推荐系统中的主要实现步骤和技术细节： 1. **输入表示** 用户的历史交互被转化为一个由 item ID 组成的序列 \( S = \{i_1, i_2, ..., i_n\} \)，其中每个 \( i_k \) 表示用户的一个交互项。为了适配 Transformer 结构，通常会将这些 item ID 映射到嵌入向量空间中[^3]。 2. **掩码机制** 掩码语言模型的核心在于随机遮蔽部分位置上的 items 并让模型去预测它们。具体来说，在训练过程中，某些 tokens 会被替换为特殊标记 `[MASK]` 或其他替代值。这种设计使得模型能够学习到更丰富的上下文依赖关系[^4]。 3. **Transformer 编码层** 使用多头注意力机制捕获全局范围内的关联模式。每一层都包含两个子模块：一个多头自注意网络以及一个前馈神经网络。经过若干堆叠后的隐藏状态可以用来生成最终的输出分布[^2]。 4. **目标函数** 对于给定的时间步 t 和对应的 ground truth label y_t ，交叉熵损失定义如下： ```python loss = -log(p(y_t | h_{t})) ``` 其中 p(\(y_t|h_t)\)) 表示根据当前时刻隐含表征计算得到的概率估计值。 5. **微调阶段** 预训练完成后进入下游任务特定调整期——即针对实际应用场景重新设置参数权重并优化性能指标的过程。例如，在电子商务网站上部署时可考虑加入商品类别特征作为额外辅助信息加以指导。 --- #### 示例代码片段 下面提供了一个简单的 PyTorch 版本实现概览： ```python import torch from transformers import BertTokenizer, BertForMaskedLM class BERT4RecModel(torch.nn.Module): def __init__(self, vocab_size, hidden_dim=768, num_layers=12, n_heads=12): super(BERT4RecModel, self).__init__() # 初始化 Tokenizer 及 Pre-trained model tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') bert_model = BertForMaskedLM.from_pretrained('bert-base-uncased') self.embedding_layer = bert_model.bert.embeddings.word_embeddings self.transformer_encoder = torch.nn.TransformerEncoder( encoder_layer=torch.nn.TransformerEncoderLayer(d_model=hidden_dim, nhead=n_heads), num_layers=num_layers ) def forward(self, input_ids, attention_mask=None): embeddings = self.embedding_layer(input_ids) output = self.transformer_encoder(embeddings, src_key_padding_mask=~attention_mask.bool()) return output # 假设我们有一个 batch size 为 2 的样本集 input_tensor = torch.tensor([[101, 7592, 102], [101, 2054, 102]]) # Example inputs with special tokens like '[CLS]' and '[SEP]' model = BERT4RecModel(vocab_size=30522) outputs = model(input_tensor) print(outputs.shape) # 输出形状应匹配预期大小 ``` 上述代码展示了如何构建基础框架并通过加载预训练好的 BERT 来初始化 embedding 层与 transformer 架构的一部分组件。 --- #### 讨论与展望 尽管 BERT4REC 已经取得了显著成果，但仍存在一些挑战亟待解决。比如长期记忆能力不足可能导致冷启动问题恶化；另外高昂算力需求也可能成为大规模工业级落地障碍之一。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值