推荐系统Neural Collaborative Filtering（NCF）论文精度 BPR loss

最新推荐文章于 2023-10-24 07:00:00 发布
最新推荐文章于 2023-10-24 07:00:00 发布
阅读量2.5k 收藏 17
点赞数 6
分类专栏： 推荐系统 文章标签： 推荐系统 python 神经网络 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45175218/article/details/112609355
版权

文章目录

数据集的构建与处理

将用户的评分显式反馈转换为隐式反馈

在这里插入图片描述

作者是在MovieLens数据集和Pinterset数据上进行实验验证，我们在实验中只选择了MovieLens。在我的代码实现中，有记录的为交互过，记录为1，没有记录为未交互，记为0，核心代码如下。这个我的理解是，在rating表中，记录的是交互记录，那么user-item的笛卡尔积减去这些交互记录，就是没有交互记录，

添加负样本

在这里插入图片描述

作者在论文中采用的方式是统一采样，从未交互在每一轮的迭代中，确定的采样率。采样方式选择随机采样即可。（作者提到，这样是统一的看待到剩余交互，其实可以考虑物品流行度偏置等等），这篇论文中，作者点到为止，没有再继续讨论。

我在我的代码中通过控制负样本的个数来实现，随机采样。

在这里插入图片描述

核心模型构建

作者在论文与实现中的模型有两部分组成GMF和MLP

GMF部分

在这里插入图片描述

作者在实现时，非常简单，直接将User和Item的Embbending层相乘就可。这样的简单处理，但是作者在论文中提到了一个很重要的思想就是，GMF如何泛化为MF？就是相乘只是一种最朴素的交互关系，交互关系甚至可以是复杂的函数关系**。

在这里插入图片描述

MLP部分

简单概括MLP部分就是全连接网络。

全连接网络一些设定，首先，作者在论文中详细阐述了为什么选择了Relu函数作为激活函数，并且实验证明Relu好于tanh，远好于sigmoid，相关原因与比较我用红线进行了标出。我在实现中按照论文思路也选择了Relu激活函数。
在这里插入图片描述

作者说明了网络的设计结构。每次减少一半神经元数量。这是一种常见的随着层数增加神经元数量减少的塔形结构。

在这里插入图片描述

GMF和MLP的融合

如图标红部分所示，在GMF部分是将user的Embedding和item的Embedding对应元素相乘，MLP部分是将user的Embedding和item的Embedding直接拼接，最后在输出部分将模型两部分输出再次拼接。

在这里插入图片描述

共享嵌入层，在输入维度必须保持一致，最后输出使用sigmoid激活函数。
在这里插入图片描述

为了模型的灵活(flexibility)

在作者的论文和实现中GMF和MLP是独立实现的。也是可以独立训练的。

同时提供了预训练方式和非预训练方式

在这里插入图片描述

最终模型部分实现

在这里插入图片描述
在这里插入图片描述

损失函数构建

BPRloss损失函数如下

在这里插入图片描述

实现效果如下图所示
在这里插入图片描述

1.推荐系统中的两类损失函数，point-wise损失函数和pair-wise损失函数之间有什么区别？

首先，我最大的感受是，point-wise损失函数，大多数情况下你可以直接调用深度学习框架中已经实现好的部分。Pointwise 方法非常简单，也容易实现。在训练时候，也可以指定Shuffle。因为本身与顺序并无太大关系。

而pair-wise首先就需要自己去构造这样的pair，所以需要自己去实现计算逻辑。因为是一组，自然不能全局Shuffle，可以每个batch读入若干pair。

2.基于深度学习方法的推荐对比之前传统的推荐算法的改进体现在哪里？

这一点在我前面的关于GMF部分泛化MF部分的阐述中就有所体现。相乘只是一种最朴素的交互关系，交互关系甚至可以是复杂的函数关系。传统的方法只是一些简单的相乘或者其他矩阵运算，而深度学习方法通过Embedding物品和用户向量，利用神经网络强大的学习表征能力，来实现物品与用户的特征挖掘，和他们之间复杂交互关系的抽取。

在数据读入部分

在pytorch的实现中，数据读取在pytorch数据集构造中，需要继承DataSet，需要重写len方法和getitem方法。pandlepandle部分比较特殊，它是需要返回一个数据迭代器。**

在pytorch的实现中，数据读取在pytorch数据集构造中，需要继承DataSet，需要重写len方法和getitem方法。pandlepandle部分比较特殊，它是需要返回一个数据迭代器。**

模型搭建，两个深度学习框架在使用细节上有所不同，但是通过查阅API文档，和官网提供的案例，基本一致。自定义损失函数，也采用BPR_loss,所以这一部分需要根据自己在数据读入时的逻辑来写。在上面有详细的介绍。训练与评估逻辑，训练逻辑依照按照，计算出loss，深度学习框架根据我们定义好的前向传播过程帮助我们自动进行反向传播。评估采用HR命中率来进行评估

run_session
关注
  • 6
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
BPR损失函数介绍
CSDN 精品推荐
03-22 2011
BPR (Bayesian Personalized Ranking)是一种常见的推荐算法，常用于推荐系统中的物品排序问题。BPR损失函数是一种用于训练BPR模型的损失函数，可以帮助模型学习到适合用户的物品排序。
BPR LOSS
热门推荐
qq_35541614的博客
01-03 1万+
bpr lossBPR LOSS BPR LOSS BPR Loss是用得比较多的一种raking loss。它是基于Bayesian Personalized Ranking。BPR Loss 的思想很简单，就是让正样本和负样本的得分之差尽可能达到最大。具体公式如下： ...
推荐系统中BPR损失及对应的AUC计算
beginerToBetter的博客
08-21 5788
AUC: AUC是而分类模型中使用的主要离线评测指标，其不关注具体的得分，只关注排序结果。 AUC指标有两种解释方法： 1.“曲线下面积” 2.排序能力 （若AUC=0.7,则可理解为：给定一个正样本和一个负样本，在70%的情况下模型对正样本的打分高于对负样本的打分，在这个解释下我们关心的只有正负样本之间分数的高低而具体的分值无关紧要） BPR损失： 该损失考虑用户物品交互中的可观察项和不可观察项的相对顺序，BPR假定更能反映出用户偏好的可观察项的交互相较于那些不可观察项来说应该赋予高的预测值 关键代码
推荐系统笔记（一）：BPR Loss个性化推荐
qq_46006468的博客
07-26 1万+
在常规的推荐系统统计算法中，我们通常是通过现有数据集去计算获取用户对所有商品的得分，但大多情况下我们只需要关系极少数的商品的优先级，而不是所有的商品的排序，并且一些基于矩阵分解和KNN的推荐算法，是没有对排序方法进行优化的，而BPR损失函数能够满足我们的需求。（1）BPR的出发点是优化用户对商品的偏好排序，这使得它可以和其他推荐系统方法合并使用。（2）通过用户商品评分矩阵的分解实现类似于embedding的操作，从而获取用户的隐式评分。（3）通过贝叶斯最大后验概率估计进行参数学习。......
推荐系统Neural Collaborative Filtering神经协同过滤
04-12
Neural Collaborative Filtering这篇论文的Neural matrix factorization模型，模型的参数可以自行调整。
Neural Collaborative Filtering神经协同过滤1
08-03
Neural Collaborative Filtering（NCF）是一种基于神经网络的协同过滤算法，旨在解决推荐系统中的关键问题，即协同过滤问题。传统的协同过滤算法主要基于矩阵分解和内积操作，但是这些方法存在一定的限制，例如无法...
Neural Collaborative Filtering.pdf
11-29
论文《Neural Collaborative Filtering》原文，其中有NAIS模型实验中使用的两个数据集详细描述
蔡氏电路matlab仿真代码-Neural-Collaborative-Filtering:硬2.1.4/张量流1.7.0
05-26
蔡氏电路matlab仿真...Neural-Collaborative-Filtering Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu and Tat-Seng Chua (2017). In Proceedings of WWW '17, Perth, Australia, April 03-07, 2017.
Pytorch-Triplet_loss:用Pytorch实现三重损失
05-16
派托克三重损失 用Pytorch实现三重损失
【Pytorch】BCELoss和BCEWithLogitsLoss损失函数详解
01-07
在Pytorch中，BCELoss和BCEWithLogitsLoss是一组常用的二元交叉熵损失函数，常用于二分类问题，其区别在于前者的输入为已进行sigmoid处理过的值，而后者为sigmoid函数11+exp⁡(−x)\frac{1}{1+\exp(-x)}1+exp(−x)1​中的xxx。 下面为一个简单的示例： import torch import torch.nn as nn predicts = torch.tensor([[0.4,0.7,1.2,0.3], [1.1,0.6,0.9,1.6]]) labels = torch.tensor([[1,0,1,0],[0,1,1,
bpr:使用PyTorch的贝叶斯个性化排名
05-26
隐式反馈的贝叶斯个性化排名 该存储库使用pyTorch（ ）实现贝叶斯个性化排名其他存储库也实现了此模型，但是评估需要更长的时间。 因此，我使用带有GPU加速功能的pyTorch来实现此模型以进行评估。 实现细节将在下一节中说明。 环境 硬件 AMD锐龙7 3700X 8核处理器 三星DDR4 32GB NVIDIA TitanXp 软件 作业系统 我同时使用Windows和Linux（Ubuntu）。 Python包 在执行此代码之前，您必须安装以下软件包。 Python== 3.6 pytorch == 1.3.1 numpy == 1.15.4 熊猫== 0.23.4 您可以通过执行以下命令或通过anaconda安装这些软件包。 pip install -r requirements.txt 用法 0.准备数据 此代码支持movielens 1m数据和moviele
推荐系统 Raking Loss Function
给我也整一个
03-07 8835
推荐系统领域的两个问题：Raking 和 Rating。对于排序问题来讲，最常见的就是Top-N推荐；评分预测问题包含很多种，这里就不做详细介绍。不同的问题会对应不同的损失函数，下面介绍几种推荐系统领域解决排序问题的几种损失函数。 ...
在推荐系统中，BPRloss、Embloss、CrossEntropyloss是怎么计算的，代表的意义是什么
最新发布
L_goodboy的博客
10-24 1724
在推荐系统中，BPRloss、Embloss、CrossEntropyloss是怎么计算的，代表的意义是什么；是如何计算的
深度学习基础----损失函数：BCELoss，BCEWithLogitsLoss，BPRLoss，TOP1Loss
weiwei935707936的博客
11-06 6265
BCELoss： CE和BCE：CrossEntropy。 B：binary，即用于二分类问题 输入： Sigmoid： 目标： 损失函数： BCEWithLogitsLoss： 就是把Sigmoid-BCELoss合成一步 BPRLoss： 推荐系统领域有两个问题：Raking和Rating Ranking：Top-N的推荐 Rating：预测物品打分 ​​​​​​​最新研究都是做排序的： ​​​​​​​排序比较贴近实际 评分...
ML_BPR小结
Davidmvp的博客
08-11 518
本文参考文献 刘建平：https://www.cnblogs.com/pinard/p/9128682.html 论文来源：https://yun.baidu.com/share/link?shareid=2431171172&uk=1009675359&errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&s...
推荐系统算法常见问题
weixin_39586997的博客
08-16 775
参考： 【1】https://blog.csdn.net/weixin_38664232/article/details/89948373 【2】https://blog.csdn.net/weixin_38664232/article/details/89975716 【3】https://blog.csdn.net/zhongqiqianga/article/details/102760951 【4】https://zhuanlan.zhihu.com/p/82105066 【...
c2064 项不会计算为接受0个参数的函数_Pytorch的19个Loss Function(上)
weixin_39835158的博客
11-23 242
导读 作为一名调包算法工程师，在调包的同时根据特定任务改改loss function是非常重要的，所以小老弟今天就基于Pytorch内置的函数，对损失函数做一个小总结。Pytorch 的损失函数在torch.nn下，共19个(1.7.0版本)。本篇包括L1损失、MSE损失、NLL损失、CROSSENTROPY损失、CTC损失和POISSONNLL损失，重点介绍后三个。L1 Losstor...
Pytorch损失函数总结
qq_43526137的博客
07-26 230
loss
class BPRLoss(nn.Module): def __init__(self, lamb_reg): super(BPRLoss, self).__init__() self.lamb_reg = lamb_reg def forward(self, pos_preds, neg_preds, *reg_vars): batch_size = pos_preds.size(0) bpr_loss = -0.5 * (pos_preds - neg_preds).sigmoid().log().sum() / batch_size reg_loss = torch.tensor([0.], device=bpr_loss.device) for var in reg_vars: reg_loss += self.lamb_reg * 0.5 * var.pow(2).sum() reg_loss /= batch_size loss = bpr_loss + reg_loss return loss, [bpr_loss.item(), reg_loss.item()]
07-16
这段代码定义了一个名为BPRLoss的损失函数块，用于计算BPR损失。 在初始化方法__init__中，通过传入参数lamb_reg来指定正则化项的权重。 在forward方法中，输入参数包括pos_preds（表示正样本的预测得分）、neg_preds（表示负样本的预测得分）以及可变数量的正则化项reg_vars。首先，获取批次大小batch_size。然后，计算BPR损失，即根据pos_preds和neg_preds计算出差值，并应用sigmoid和log函数后求和，除以batch_size。接下来，初始化正则化项的损失reg_loss为0。通过循环遍历reg_vars，对每一个正则化项进行计算，将结果加到reg_loss上。最后，将reg_loss除以batch_size，并将bpr_loss和reg_loss相加得到最终的损失loss。 返回结果包括loss值以及具体的bpr_loss和reg_loss的数值。 这个BPRLoss模块用于在推荐系统等任务中计算BPR损失，并可以根据需要添加正则化项来进行模型的正则化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值