Multi-Sample based Contrastive Loss for Top-kRecommendation（IR 2021）

最新推荐文章于 2022-09-22 21:41:00 发布
最新推荐文章于 2022-09-22 21:41:00 发布
阅读量385 收藏 1
点赞数
文章标签： 推荐算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29717841/article/details/125205018
版权
本文探讨了对比学习（CL）在推荐系统中的应用，指出传统CL正负样本不平衡的问题，并提出多采样正样本的CL（MCL），通过加权和多路径学习优化正样本的使用。此外，文章还介绍了MSCL损失函数，用于同时考虑多个正样本，以提升推荐效果。作者认为将用户交互项目视为相似可能欠妥，并分享了一篇相关知乎文章供读者参考。
摘要由CSDN通过智能技术生成

在 CL 中，将同一批次中的所有非正样本作为负样本，可以简单的快速获取大量负样本，CL_loss 意在最大化正对的相似性并最小化负对的相似性。而BPR 一般采用随机抽取的方式使用一个或几个负样本，BPR_loss意在最大化正样本和负样本之间的距离。它们都是通过对比过程学习的，所以BPR 损失也可以看成对比损失的一种。

为解决 CL 中正负样本不均衡的问题，作者提出了多采样正样本的 CL ，如上图。正负样本添加了权重来权衡它们之间的重要性，还可以同时使用多个正样本来参与 CL。

ICL (加入权重后的 CL_loss):                                                                                       a ∈（0,1）

MCL（基于多个正样本的CL）：针对正样本使用不足的问题，文中提出了一种

最低0.47元/天 解锁文章
韭菜茁壮成长
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
contrastive loss 的高级代码实现 (pytorch)
Talk Is Cheap
08-17 4387
LARGE_NUM = 1e9 def _contrastive_loss_forward(self, hidden1: torch.Tensor, hidden2: torch.Tensor, hidden_norm: bool = True, ...
RMSE for Top-k Recommendation: 高手的盲点？
overstack的专栏
11-22 1140
今天查文献的时候看到ACM RecSys 2010的一篇关于top-n推荐的文章，注意到文章的第二作者是Netflix Prize赛程中贡献最大的Yehuda Koren，所以仔细读了一下。看完之后相当困惑：高手也有盲点？Yehuda Koren是Netflix Prize获奖团队的主要成员，在整个赛事中展现出了非常优秀的问题分析和数据分析能力。但这篇文章的话题却实在让人意外。   文
论文笔记：Variational Autoencoders for Top-K Recommendation with Implicit Feedback---（2021）
m0_49315028的博客
07-05 339
VAE--协同过滤
从分类,排序,top-k多个方面对推荐算法稳定性的评价
phantom66的博客
04-23 9111
介绍论文名: “classification, ranking, and top-k stability of recommendation algorithms”. 本文讲述比较推荐系统在三种情况下, 推荐稳定性情况. 与常规准确率比较的方式不同, 本文从另一个角度, 即推荐算法稳定性方面进行比较.详细参与比较的推荐算法包括: baseline 传统基于用户 传统基于物品 oneSlope s
TOP-K问题
呼延十
01-16 3511
前言 TOP-K问题是面试中的常见题型,具体表现为: 海量数据 求最大(最小)的K个值. 比如:给定1亿个乱序的整数,求其中最大的1000个 今天一步一步来分析这种题目的解决办法,以及用到的算法思想. 依赖 此文中会依赖到快速排序,堆排序等排序算法,以及数据结构堆. 如果你对上述两者的原理有所了解,可以继续往下看.如果不了解,可以点击链接先看一下基础~. 好,进入正题.(以给定1亿个乱序的整数...
2019-CVPR-Multi-Similarity Loss with General Pair Weighting for
08-08
2019年的CVPR会议上，码隆科技发布了一篇名为《Multi-Similarity Loss with General Pair Weighting for Deep Metric Learning》的研究论文，提出了一个新的损失函数框架——多相似度损失（Multi-Similarity Loss，...
Multi-view_Clustering:适用于7种多视图光谱聚类算法的MATLAB代码
04-22
多视图光谱聚类算法该存储库包含用于7种多视图光谱聚类算法（和单视图光谱聚类算法）的MATLAB代码，用于在我们的ICDM论文“”中进行比较。 一些算法的代码是从原始论文作者的网站上收集的，后来由我们修复和优化。...
Algorithm-Noise-Contrastive-Estimation-NCE-for-pyTorch.zip
09-17
Algorithm-Noise-Contrastive-Estimation-NCE-for-pyTorch.zip,重新实现Pytorch的噪声对比估计算法，遵循“噪声对比估计：非标准化统计模型的新估计原理”（Gutmann和Hyvarinen，AISTATS 2010）,算法是为计算机程序...
SeCo-Sequence-Contrastive-Learning
05-26
此实现仅支持multi-gpu ， DistributedDataParallel训练，该训练更快，更简单； 不支持single-gpu或DataParallel培训。 要对初始化的ResNet-50模型进行无监督的预训练，请将权重下载到pretrain文件夹中，然后运行：...
Contrastive Multi-View Representation Learning on Graphs
12-20
在《Contrastive Multi-View Representation Learning on Graphs》这篇论文中，作者Kaveh Hassani和Amir Hosein Khasahmadi提出了一个自我监督的方法，用于学习图结构中的节点和图级别的表示。这种方法通过对比图的...
对比学习NLP
weixin_36378508的博客
09-22 1734
损失联合方式自监督：将CL的loss和其他loss混合，通过联合优化，使CL起到效果：CLEAR，DeCLUTER，SCCL。 非联合方法自监督：构造增强样本，fine-tune模型：Bert-CT，ConSERT，SimCSE。 1.CLEAR 链接： https://arxiv.org/pdf/2012.15466.pdf 背景： 作者认为，当前的预训练模型都是基于word-level的，没有基于sentence-level的目标，对sentence的效果不好。 方案： word-leve.
推荐系统笔记（一）：BPR Loss个性化推荐
热门推荐
qq_46006468的博客
07-26 1万+
在常规的推荐系统统计算法中，我们通常是通过现有数据集去计算获取用户对所有商品的得分，但大多情况下我们只需要关系极少数的商品的优先级，而不是所有的商品的排序，并且一些基于矩阵分解和KNN的推荐算法，是没有对排序方法进行优化的，而BPR损失函数能够满足我们的需求。（1）BPR的出发点是优化用户对商品的偏好排序，这使得它可以和其他推荐系统方法合并使用。（2）通过用户商品评分矩阵的分解实现类似于embedding的操作，从而获取用户的隐式评分。（3）通过贝叶斯最大后验概率估计进行参数学习。......
语义分割中的损失
weixin_41134246的博客
12-02 2367
语义分割中的损失 loss list: CE BCE WCE Focal loss Dice loss IOU loss Tversky loss 敏感性–特异性 loss Generalized Dice loss BCE + Dice loss Dice + Focal loss Exponential Logarithmic loss 以上部分有一篇博客讲得比较清楚： 原文博客链接: (h...
对比学习火了
爱吃火锅的博客
06-15 2355
前言 最近对比学习火起来了，其思想特别简单但有效，总结起来就是： 对一条样本x1通过数据增强得到x2，那么这就是一对正样本对，和其他样本就是负样本对。
2022_WWW_Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning
weixin_46645827的博客
03-23 2744
[论文阅读笔记]2022_WWW_Improving Graph Collaborative Filtering with Neighborhood-enriched Contrastive Learning 论文下载地址： https://doi.org/10.1145/3485447.3512104 发表期刊：WWW Publish time: 2022 作者及单位: Zihan Lin1†, Changxin Tian1†, Yupeng Hou2†, Wayne Xin Zhao2,3B 1Sch
张俊林：对比学习研究进展精要
夕小瑶科技说
04-27 1446
文 | 张俊林@知乎对比学习(Contrastive Learning)最近一年比较火，各路大神比如Hinton、Yann LeCun、Kaiming He及一流研究机构比如Faceboo...
2020顶级会议回顾 | 从这些最佳论文中总结研究趋势（文中附论文下载链接）
gzq0723的博客
02-20 1121
欢迎关注“计算机视觉研究院”计算机视觉研究院专栏作者：Edison_G今天，我们就从各大顶会的最佳论文中一窥当前研究热点和趋势。AAAI 2020最佳论文：WinoGrande: An A...
SimGCL:Are Graph Augmentations Necessary? Simple GraphContrastive Learning for Recommendation 论文代码解读
zhao254014的博客
09-22 1973
开发了一种简单的无图增强的CL方法，以一种更直接的方式来调节表示分布的均匀性。通过在表示中加入有向随机噪声，进行不同的数据增强和对比，提出的方法显著提高了推荐能力
tensorflow学习（4.loss函数以及正则化的使用 ）
qq_26499769的博客
09-30 3470
本文还是以MNIST的CNN分析为例 loss函数一般有MSE均方差函数、交叉熵损失函数，说明见 https://blog.csdn.net/John_xyz/article/details/61211422 另外一部分为正则化部分，这里实际上了解图像的会理解较深，就是防止过拟合的一些方式，符合图像先验的正则化项会给图像恢复带来很大的效果，简单讲神经网络常见的正则化则是 1.对权重加入L...
batch-balanced contrastive loss的pytorch代码
最新发布
05-14
以下是一个batch-balanced contrastive loss的PyTorch代码示例： ```python import torch import torch.nn.functional as F class BatchBalancedContrastiveLoss(torch.nn.Module): def __init__(self, margin=1.0, batch_size=256, num_classes=10): super(BatchBalancedContrastiveLoss, self).__init__() self.margin = margin self.batch_size = batch_size self.num_classes = num_classes def forward(self, features, labels): # Compute pairwise cosine similarity similarity_matrix = F.cosine_similarity(features.unsqueeze(1), features.unsqueeze(0), dim=2) # Create mask for positive pairs (same class) mask_pos = torch.zeros_like(similarity_matrix) for i in range(self.batch_size): mask_pos[i*self.num_classes:(i+1)*self.num_classes, i*self.num_classes:(i+1)*self.num_classes] = 1 mask_pos = mask_pos.to(features.device) # Create mask for negative pairs (different class) mask_neg = 1 - mask_pos # Compute losses for positive and negative pairs loss_pos = torch.sum(mask_pos * (1 - similarity_matrix)**2) loss_neg = torch.sum(mask_neg * torch.relu(similarity_matrix - self.margin)**2) # Compute the final loss by balancing the positive and negative losses num_pos = torch.sum(mask_pos).item() num_neg = torch.sum(mask_neg).item() beta = num_neg / (num_pos + num_neg) loss = beta * loss_pos + (1 - beta) * loss_neg return loss ``` 在这个例子中，我们创建了一个`BatchBalancedContrastiveLoss`类，它继承自`torch.nn.Module`。`margin`参数是对比损失函数中的间隔参数，`batch_size`参数是每个batch中的样本数量，`num_classes`参数是每个类别的样本数。 在`forward`方法中，我们首先使用`F.cosine_similarity`函数计算特征向量之间的余弦相似度矩阵。我们然后创建了一个`mask_pos`变量，它是一个大小为(batch_size*num_classes, batch_size*num_classes)的零矩阵，其中对角线上的元素为1，代表同类别样本之间的相似度。我们还创建了一个`mask_neg`变量，它是`mask_pos`的补集，代表不同类别样本之间的相似度。 接下来，我们计算正样本对和负样本对的损失。对于正样本对，我们使用(1-相似度)^2计算损失。对于负样本对，我们使用max(0, 相似度-间隔)^2计算损失。 最后，我们计算平衡的对比损失，通过计算正样本对和负样本对的损失之间的权衡。我们使用beta=num_neg/(num_pos+num_neg)来计算负样本在损失函数中所占的比例，其中num_pos和num_neg分别是正样本对和负样本对的数量。 这个代码示例可以用于训练具有类别标签的对比学习模型，例如具有训练集中的类别标签的图像数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值