contrastive loss 详解

已于 2022-02-25 10:11:54 修改
阅读量1.9w 收藏 34
点赞数 10
分类专栏： deep learning 文章标签： 机器学习 深度学习
于 2020-12-16 11:47:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39575835/article/details/111252909
版权
NT-Xent是SimCLR中提出的对比学习损失函数，它通过最大化正样本对之间的相似度和最小化负样本对之间的相似度来训练模型。在softmax基础上，NT-Xent考虑了温度参数，当温度小于1时，预测更确定；大于1时，预测更分散。最终目标是使同类样本聚集，异类样本分离。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

NT-Xent (the normalized temperature-scaled cross entropy loss)

在这里插入图片描述

  • NT-Xent
    在这里插入图片描述
    NT-Xent 出自Simclr。一个batch N 个samples，因为有两条分支就是2N个samples，除了对应的augmented image和自己，其余2N-2都应该被视作negative pair。上式中，i，j 是positive pair，分母是negative pair。
    NT-Xent 看起来像softmax函数。 这是因为，加上向量相似度和温度归一化因子。 相似度函数只是余弦距离。 另一个不同之处是分母中的值是从正例到负样本的符号距离。 与CrossEntropyLoss没有太大区别。 直觉是我们希望我们的相似向量尽可能接近1，因为-log（1）= 0，这是最佳损失。 我们希望否定示例接近0，因为任何非零值都将减少相似向量的值。

温度系数
If the temperature is less than 1, the softmax predictions become more confident. This is also referred to as “hard” softmax probabilities. If T is greater than 1, then the predictions are less confident (also called “soft” probabilities). Softer probabilities provide more information from the network as to which classes seem similar to the target class.
如果温度小于 1，softmax 预测变得更有信心。 这也称为“硬”softmax 概率（我理解会sharpen输出）。 如果 T 大于 1，则预测的可信度较低（也称为“软”概率）。 较软的概率从网络中提供了更多关于哪些类看起来与目标类相似的信息。

  • 最后得到的效果

同类相聚，异类相离
在这里插入图片描述

reference:
https://towardsdatascience.com/contrastive-loss-explaned-159f2d4a87ec

Contrastive Loss: 用于学习特征表示的对比损失
DkVhdl的博客
09-21 1567
对比损失的核心思想是通过最大化相似样本之间的距离，最小化不相似样本之间的距离来学习特征表示。对于任意一对样本，我们计算它们在特征空间的距离，然后根据它们的标签（相似或不相似）来调整模型的参数。它通过将相似的样本映射到紧密的特征空间中，同时将不相似的样本映射到相对较远的特征空间中，从而使得特征表示更具区分性。通过将相似样本映射到紧密的特征空间中，将不相似样本映射到相对较远的特征空间中，对比损失可以提高特征的区分性。对于不相似样本对，我们希望它们在特征空间中的距离尽可能大，因此我们的目标是最大化它们的距离。
CLIP算法的Loss详解 和 交叉熵CrossEntropy实现
AGI
06-01 2万+
CLIP：Contrastive Language–Image Pre-training(可对比语言-图像预训练算法)是OpenAI提出的多模态预训练的算法，在各种各样的**样本对(图像、文本)**上训练的神经网络。具体参考：CLIP、OpenCLIP其中，流程：和的具体源码如下，参考 model.py： 其中，labels是，参考train.py，具体如下 交叉熵函数：y就是label，，表示在x_softmax中筛选第i个sample的第y[i]个值，作为log的输入，全部log负向求和，再求均值。 参
Contrastive Loss (对比损失)
热门推荐
autocyz
11-13 7万+
Contrastive Loss (对比损失)在caffe的孪生神经网络（siamese network）中，其采用的损失函数是contrastive loss，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。contrastive loss的表达式如下： L=12N∑n=1Nyd2+(1−y)max(margin−d,0)2L=\frac{1}{2N}\sum_{n=1}
Contrastive Loss
小花生的博客
05-06 4972
Contrastive Loss 参考：https://zhuanlan.zhihu.com/p/35027284 对比损失函数，来自Yann LeCun的论文《Dimensionality Reduction by Learning an Invariant Mapping》，出发点：增大类间差异并且减小类内差异。 公式如下： Y=0表示x1和x2是相似的，Ls表示相似时候的度量，通常用...
Contrastive Loss(对比损失)
yanqianglifei的专栏
06-08 1万+
Contrastive Loss 在传统的siamese network中一般使用Contrastive Loss作为损失函数，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。 siamese network-孪生神经网络 contrastive loss的表达式如下： # tensorflow伪代码 ...
对比损失（Contrastive Loss）
HYXwoaini的博客
10-10 4578
其中 W 是网络权重；Y是成对标签，如果X1，X2这对样本属于同一个类，Y=0，属于不同类则 Y=1。Dw 是 X1 与 X2 在潜变量空间的欧几里德距离。当Y=0，调整参数最小化X1与X2之间的距离。当Y=1，如果X1与X2之间距离大于m，则不做优化（省时省力）；如果 X1 与 X2 之间的距离小于 m, 则增大两者距离到m。 ...
Contrastive Loss，Triplet Loss
乐乐的博客
03-11 2343
孪生神经网络（siamese network）中，其采用的损失函数是contrastive loss，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。contrastive loss的表达式如下： 其中d=||an−bn||2，代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配，margin为设定的阈值。 ...
Contrastive Loss 详解及用法
qq_36303832的博客
06-15 6162
Contrastive Loss 详解以及用法
对比损失（Contrastive Loss）详解
超大青花鱼的博客
10-19 1945
对比损失的基本思想是，通过构建一对样本 ( (x_i, x_j) )，如果这对样本来自同一类（即正样本对），模型应该使得它们在特征空间中的距离更小；而对于不同类别的样本（即负样本对），模型则应该使得它们在特征空间中的距离尽量大。对比损失（Contrastive Loss）是一种常见的度量学习损失函数，它通过学习样本对之间的相似性和差异性，使得相似样本对在特征空间中的距离更小，而不相似样本对的距离更大。通过最小化这一部分的损失，模型学习到相似样本的特征表示应该接近。，这一部分的损失将为零。
多模态text-image模型之ITC loss
Qingxingxx的博客
02-04 4433
函数是给cls token embedding降维的线性层。另一方面，文图对会进入一个momentum unimodal encoders（这个结构的作用是通过结合过去更新中积累的知识，帮助稳定和提高学习表示的质量），变成。最近在看多模态内容，记录一下文图模型中常用的损失函数。最先提出ITC loss的是论文。，为了在融合之前学习更好的unimodal表示，它学习。，真值中负样本对的概率为0，正样本对的概率为1。令onehot相似度的真实值是。，下面是文章对该Loss的定义。之后在更新同一篇文章中的。
Supervised Contrastive Learning浅读
qq_41845951的博客
07-31 2811
前言 本文是根据观看了知名油管up主，对Supervised Contrastive Learning这篇文论文的解读写了一点自己的理解，初次接触，理解甚浅。 在文章中作者提出了一种新的监督训练的loss, 这种loss 是基于contrast loss的优化目标，与之前的监督学习不同，它是每个锚点取多个正例， 目的是使相同label 的normalized embedding 尽可能接近，不同label的尽可能远。最终结果证明，新的loss要比cross entropy训练更加稳定， 并且在分...
Contrastive Loss 对比损失函数
weixin_38906715的博客
04-14 854
在caffe的孪生神经网络（）中，其采用的损失函数是contrastive loss，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。contrastive loss的表达式如下：[注意这里设置了一个阈值ｍ(margin)，表示我们只考虑不相似特征欧式距离在０～ｍargin之间的，当距离超过ｍargin的，则把其loss看做为０(即不相似的特征离的很远，其loss应该是很低的；而对于相似的特征反而离的很远，我们就需要增加其loss，从而不断更新成对样本的匹配程度)]
机器学习笔记 - 关于Contrastive Loss对比损失
学以致用 知行合一
09-06 3429
孪生网络的目标不是对一组图像对进行分类，而是区分它们。从本质上讲，对比损失是评估孪生网络在图像对之间的区分程度。虽然二元交叉熵（下图公式）肯定是损失函数的有效选择，但它不是唯一的选择（甚至不是最佳选择）。其中Y是我们的标签。如果图像对属于同一类，则为 1，如果图像对属于不同类，则为 0。然而，实际上有一个更适合孪生网络的损失函数，称为对比损失。max 函数取最大值 0 和边距 m 减去距离。如果能读得进去论文，可以更深入了解下。变量是孪生网络的输出之间的欧几里得距离。
相关contrastive loss对比损失详解
向上生长的程序媛的博客
01-11 7719
文章目录 一、传统contrastive loss 二、WDMC loss(CEECNet) 1.应用于变化检测的contrastive loss变形 若对文章理解有歧义，欢迎留言交流，整理不易，欢迎一键三连！！！ 一、传统contrastive loss 对比损失是一种降维学习方法，它可以学习一种映射关系，这种映射关系可以使得在高维空间中，相同类别但距离较远的点，通过函数映射到低维空间后，距离变近，不同类别但距离都较近的点，通过映射后再低维空间变得更远。该损失函数在深度学习中主...
对比损失（Contrastive Loss）与大模型：Contrastive Loss and Large Models (中英双语)
最新发布
阿正的梦工坊
12-13 2262
Contrastive loss is a cornerstone of modern large-model training. By leveraging logits to compute similarity distributions, models like CLIP, SimCLR, and DINO achieve remarkable alignment and representation learning.
两种对比学习损失：contrastive loss 和 infoNCE loss
weixin_47032489的博客
01-22 5490
总的来说，对比损失和infoNCE损失都是有效的对比学习方法，可以用于无监督学习任务。选择使用哪种损失函数取决于具体的任务和模型结构，以及对样本相似性度量的需求。对比损失（contrastive loss）和信息最大化非条件估计损失（infoNCE loss）是两种常用于对比学习的损失函数。
对比损失Contrastive Loss（CVPR 2006）原理解析
00000cj的博客
04-16 2658
本文提出了一种通过学习不变映射的降维方法（Dimensionality Reduction by Learning an Invariant Mapping, DrLIM）来学习一个全局相关非线性映射函数，从而将数据均匀地映射到输出流形。这种学习仅依赖于邻域关系而不需要输入空间中的任何距离度量。通过实验证明，该方法可以学习到对输入某些变换的不变映射。
利用Contrastive Loss（对比损失）思想设计自己的loss function
Paper weekly
03-21 1873
©作者 | Alex Zheng单位 |浙江大学研究方向 |AI赋能新药发现Contrastive Loss简介对比损失在非监督学习中应用很广泛。最早源于 2006 年Yann LeCun的“Dimensionality Reduction by Learning an Invariant Mapping”，该损失函数主要是用于降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中...
【损失函数】Contrastive Loss, Triplet Loss and Center Loss
weixin_43882112的博客
11-05 4680
文章目录1. Contrastive Loss vs Triplet Loss:Contrastive Loss [1]：Triplet Loss [2]：2. 问题引入：3. Contrastive Loss：对比损失定义：含义：4. Triplet Loss：三元组损失定义：目标：公式：进阶：FaceNet 1. Contrastive Loss vs Triplet Loss: Contrastive Loss [1]： 来源：Yann LeCun论文：Dimensionality Reduction
pytorch NT-Xent
07-28
PyTorch NT-Xent（Normalized Temperature-scaled Cross Entropy）是一种用于无监督学习的损失函数，常用于对图像或文本进行表示学习。它是通过对比两个样本之间的相似性来学习特征表示。 NT-Xent损失函数的基本思想是将每个样本分为一个正样本和若干个负样本，然后通过最大化正样本与其对应的负样本之间的相似性，同时最小化正样本与其他负样本之间的相似性来训练模型。 在PyTorch中，可以使用torch.nn.functional中的函数来实现NT-Xent损失函数的计算。具体的实现细节可能因具体应用场景而有所不同，但通常会使用一些数据增强技术（如随机裁剪、翻转等）来生成正负样本对，并通过计算它们之间的相似性得到NT-Xent损失。 需要注意的是，NT-Xent损失函数通常与其他技术（如对比学习、自编码器等）结合使用，以构建更复杂的无监督学习模型。这些技术可以帮助模型学习更具有判别性的特征表示，并在许多计算机视觉和自然语言处理任务中取得良好的性能。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值