对比损失Contrastive Loss（CVPR 2006）原理解析

最新推荐文章于 2024-10-19 21:13:19 发布
最新推荐文章于 2024-10-19 21:13:19 发布
阅读量2.2k 收藏 6
点赞数 2
分类专栏： 对比学习 文章标签： 深度学习 人工智能 对比学习 对比损失 特征降维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ooooocj/article/details/130180851
版权

paper：http://yann.lecun.com/exdb/publis/pdf/hadsell-chopra-lecun-06.pdf

 

本文提出的对比损失contrastive loss被广泛应用于自监督模型中，但最初对比损失是作为一个特征降维方法而提出的。 

摘要

降维是学习一种映射关系，通过这种映射关系，将一组高维输入点映射到一个低维流形上，输入空间中的“相似”点映射到流形上后对应点之间的距离比较近。大多数现有的降维方法存在两个缺点，一是它们中的大多数都依赖于输入空间中一个有意义并且可计算的距离度量，二是它们没有计算一个可以精确地映射新的输入样本的“函数”，这些新的输入样本和训练样本的关系是未知的。

本文提出了一种通过学习不变映射的降维方法（Dimensionality Reduction by Learning an Invariant Mapping, DrLIM）来学习一个全局相关非线性映射函数，从而将数据均匀地映射到输出流形。这种学习仅依赖于邻域关系而不需要输入空间中的任何距离度量。通过实验证明，该方法可以学习到对输入某些变换的不变映射。

现有方法存在的问题

当前大多数降维方法存在两点不足，一是它们无法生成一个函数或映射可以应用于与训练样本关系未知的新样本，二是许多方法都假设输入空间中存在一个有意义并且可计算的距离度量。

当前方法的另一个局限性是，它们倾向于在输出空间中聚类点，有时点的分布过于密集，可能会被认为是退化解。而大家更希望找到一个被样本均匀覆盖的流形。

本文的创新点

本文提出的Dimensionality Reduction by Learning an Invariant Mapping (DrLIM)，为上述问题提供了一种解决方法。DrLIM是一种学习全局相关非线性函数的方法，该函数将数据映射到一个低维流形。该方法具有四个基本特征：

  • 它只需要训练样本之间的邻域关系。这些关系可以来自先验知识或手动标记，并且独立于任何距离度量。
  • 它可以学习具有对输入的复杂非线性变化的不变性的函数，如照明变化和几何畸变。
  • 学习到的函数在没有先验知识的情况下，可以用来映射在训练过程中没有见过的新样本。
  • 由函数生成的映射在某种意义上在输出空间中是“平滑的”和连贯的。

方法介绍

本文提出了一种新的损失函数 - 对比损失函数contrastive loss，通过拉进邻域样本之间的距离拉远非邻域样本之间距离的方式，来学习参数化函数 \(G_{W}\) 的参数 \(W\)。先验知识可以用来判断样本间的邻域关系。

考虑一组高维训练向量 \(\vec{X}_{i} \) 的集和 \(\mathcal{I}\)，假设对于每个 \(\vec{X}_{i}\in \mathcal{I}\) 都有一组训练向量 \(S_{\vec{X}_{i} }\) 与之相似。这个相似向量集和可以通过先验知识得到，例如对distortion或temporal proximity的不变性，而不是基于一个简单的距离。一个有意义的映射会将输入空间中相似的向量映射成输出流形中距离相近的点，将不相似的向量映射为距离较远的点。本文提出的对比损失和传统的损失不同，之前的损失函数遍历所有样本计算和对应GT之间的损失然后求和，而对比损失是计算两两样本对之间的损失。假设 \(\vec{X}_{1},\vec{X}_{2}\in \mathcal{I}  \) 是一对输入向量，\(Y\) 是分配给这对向量的二进制标签，如果 \(\vec{X}_{1},\vec{X}_{2}\) 是相似的，\(Y=1\)，反之 \(Y=0\)。定义 \(\vec{X}_{1},\vec{X}_{2}\) 之间需要学习的参数化距离 \(D_{W}\) 为 \(G_{W}\) 的输出之间的欧式距离

为了简便，\(D_{W}(\vec{X}_{1},\vec{X}_{2})\) 记为 \(D_{W}\)，对比损失的通用形式如下

其中 \((Y,\vec{X}_{1},\vec{X}_{2})^{i}\) 是第 \(i\) 对有标签样本，\(L_{S}\) 是一对相似样本点的偏损失函数，\(L_{D}\) 是一对不相似样本点的偏损失函数，\(P\) 是训练样本对的数量（它可能和样本数量的平方一样大）。

\(L_{S}\) 和 \(L_{D}\) 的设计必须使最小化 \(L\) 等价于减小相似样本对的 \(D_{W}\)，增大非相似样本对的 \(D_{W}\)。

损失函数的具体形式如下

其中 \(m>0\) 是一个边界值，它定义了 \(G_{W}(\vec{X})\) 周围的一个半径。不相似的样本对只有它们的距离在这个半径范围内时才会对损失函数有贡献，如下图所示。

 

其中关于不相似样本对的对比项 \(L_{D}\) 是至关重要的，只在所有的相似样本对集合上最小化 \(D_{W}(\vec{X}_{1},\vec{X}_{2})\) 通常会得到一个崩溃解，因为可以通过将 \(G_{W}\) 设为一个常数从而使 \(D_{W}\) 和损失 \(L\) 都变为0。

算法流程

 

00000cj
关注
专栏目录
机器学习笔记 - 关于Contrastive Loss对比损失
学以致用 知行合一
09-06 3210
孪生网络的目标不是对一组图像对进行分类，而是区分它们。从本质上讲，对比损失是评估孪生网络在图像对之间的区分程度。虽然二元交叉熵（下图公式）肯定是损失函数的有效选择，但它不是唯一的选择（甚至不是最佳选择）。其中Y是我们的标签。如果图像对属于同一类，则为 1，如果图像对属于不同类，则为 0。然而，实际上有一个更适合孪生网络的损失函数，称为对比损失。max 函数取最大值 0 和边距 m 减去距离。如果能读得进去论文，可以更深入了解下。变量是孪生网络的输出之间的欧几里得距离。
Contrastive Loss (对比损失)
热门推荐
autocyz
11-13 7万+
Contrastive Loss (对比损失)在caffe的孪生神经网络（siamese network）中，其采用的损失函数是contrastive loss，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。contrastive loss的表达式如下： L=12N∑n=1Nyd2+(1−y)max(margin−d,0)2L=\frac{1}{2N}\sum_{n=1}
MoCo对比损失
qq-1343330453
09-16 546
MoCo对比损失
Contrastive Loss(对比损失)
yanqianglifei的专栏
06-08 1万+
Contrastive Loss 在传统的siamese network中一般使用Contrastive Loss作为损失函数，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。 siamese network-孪生神经网络 contrastive loss的表达式如下： # tensorflow伪代码 ...
相关contrastive loss对比损失详解
向上生长的程序媛的博客
01-11 7518
文章目录 一、传统contrastive loss 二、WDMC loss(CEECNet) 1.应用于变化检测的contrastive loss变形 若对文章理解有歧义，欢迎留言交流，整理不易，欢迎一键三连！！！ 一、传统contrastive loss 对比损失是一种降维学习方法，它可以学习一种映射关系，这种映射关系可以使得在高维空间中，相同类别但距离较远的点，通过函数映射到低维空间后，距离变近，不同类别但距离都较近的点，通过映射后再低维空间变得更远。该损失函数在深度学习中主...
对比损失（Contrastive Loss）
HYXwoaini的博客
10-10 4522
其中 W 是网络权重；Y是成对标签，如果X1，X2这对样本属于同一个类，Y=0，属于不同类则 Y=1。Dw 是 X1 与 X2 在潜变量空间的欧几里德距离。当Y=0，调整参数最小化X1与X2之间的距离。当Y=1，如果X1与X2之间距离大于m，则不做优化（省时省力）；如果 X1 与 X2 之间的距离小于 m, 则增大两者距离到m。 ...
Contrastive Loss 对比损失函数
weixin_38906715的博客
04-14 739
在caffe的孪生神经网络（）中，其采用的损失函数是contrastive loss，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。contrastive loss的表达式如下：[注意这里设置了一个阈值ｍ(margin)，表示我们只考虑不相似特征欧式距离在０～ｍargin之间的，当距离超过ｍargin的，则把其loss看做为０(即不相似的特征离的很远，其loss应该是很低的；而对于相似的特征反而离的很远，我们就需要增加其loss，从而不断更新成对样本的匹配程度)]
对比损失（Contrastive Loss）详解
最新发布
超大青花鱼的博客
10-19 828
对比损失的基本思想是，通过构建一对样本 ( (x_i, x_j) )，如果这对样本来自同一类（即正样本对），模型应该使得它们在特征空间中的距离更小；而对于不同类别的样本（即负样本对），模型则应该使得它们在特征空间中的距离尽量大。对比损失（Contrastive Loss）是一种常见的度量学习损失函数，它通过学习样本对之间的相似性和差异性，使得相似样本对在特征空间中的距离更小，而不相似样本对的距离更大。通过最小化这一部分的损失，模型学习到相似样本的特征表示应该接近。，这一部分的损失将为零。
【对比学习】Understanding the Behaviour of Contrastive Loss (CVPR‘21)
chadlee
07-21 495
即损失函数对所有负样本的相似度的梯度是相等的。越大，负样本的梯度项也越大，也就给予了负样本更大远离该样本的梯度。（可以理解为focalloss，越难梯度越大）。趋近于无穷大时，ContrastiveLoss几乎退化成SimpleLoss，对所有负样本的权重相同。但是满足这一条件的损失函数很多，比如一个最简单的函数。该损失函数要求第i个样本和它另一个扩增的（正）样本之间的相似度。之间尽可能大，而与其它实例（负样本）之间的相似度。设置为一个小数字，这篇文章从分析温度参数。的分母是相同的，所以。...
【损失函数】Contrastive Loss, Triplet Loss and Center Loss
weixin_43882112的博客
11-05 4387
文章目录1. Contrastive Loss vs Triplet Loss:Contrastive Loss [1]：Triplet Loss [2]：2. 问题引入：3. Contrastive Loss：对比损失定义：含义：4. Triplet Loss：三元组损失定义：目标：公式：进阶：FaceNet 1. Contrastive Loss vs Triplet Loss: Contrastive Loss [1]： 来源：Yann LeCun论文：Dimensionality Reduction
contrastive loss 的高级代码实现 (pytorch)
Talk Is Cheap
08-17 4544
LARGE_NUM = 1e9 def _contrastive_loss_forward(self, hidden1: torch.Tensor, hidden2: torch.Tensor, hidden_norm: bool = True, ...
Contrastive_losses:回购各种对比损失
03-20
回购各种对比损失。没有新的研究。现有代码的一些实现。以下文件的实现： Chechik，Gal等。 “通过排名对图像相似性进行大规模在线学习。”，《机器学习研究杂志》 11（2010）：1109-1135。 使用三胞胎和浅层卷积神经网络学习局部特征描述符Vassileios Balntas，Edgar Riba，Daniel Ponsa和Krystian Mikolajczyk 还有更多...
两种对比学习损失：contrastive loss 和 infoNCE loss
weixin_47032489的博客
01-22 4336
总的来说，对比损失和infoNCE损失都是有效的对比学习方法，可以用于无监督学习任务。选择使用哪种损失函数取决于具体的任务和模型结构，以及对样本相似性度量的需求。对比损失（contrastive loss）和信息最大化非条件估计损失（infoNCE loss）是两种常用于对比学习的损失函数。
Contrastive Loss: 用于学习特征表示的对比损失
DkVhdl的博客
09-21 1138
对比损失的核心思想是通过最大化相似样本之间的距离，最小化不相似样本之间的距离来学习特征表示。对于任意一对样本，我们计算它们在特征空间的距离，然后根据它们的标签（相似或不相似）来调整模型的参数。它通过将相似的样本映射到紧密的特征空间中，同时将不相似的样本映射到相对较远的特征空间中，从而使得特征表示更具区分性。通过将相似样本映射到紧密的特征空间中，将不相似样本映射到相对较远的特征空间中，对比损失可以提高特征的区分性。对于不相似样本对，我们希望它们在特征空间中的距离尽可能大，因此我们的目标是最大化它们的距离。
详解常用的对比学习损失
weixin_47129891的博客
07-11 3410
对比学习损失函数用于在无监督或半监督的情况下学习数据表示，使得相似的数据样本在表示空间中更加接近，而不相似的样本更远离。
Contrastive Loss
小花生的博客
05-06 4877
Contrastive Loss 参考：https://zhuanlan.zhihu.com/p/35027284 对比损失函数，来自Yann LeCun的论文《Dimensionality Reduction by Learning an Invariant Mapping》，出发点：增大类间差异并且减小类内差异。 公式如下： Y=0表示x1和x2是相似的，Ls表示相似时候的度量，通常用...
关于对比损失函数的拆解解读
m0_37876745的博客
12-23 1107
Contrastive Loss，Triplet Loss
乐乐的博客
03-11 2304
孪生神经网络（siamese network）中，其采用的损失函数是contrastive loss，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。contrastive loss的表达式如下： 其中d=||an−bn||2，代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y=1代表两个样本相似或者匹配，y=0则代表不匹配，margin为设定的阈值。 ...
利用Contrastive Loss（对比损失）思想设计自己的loss function
数据派THU
04-08 1011
来源：PaperWeekly 本文约4500字，建议阅读9分钟 该损失函数主要是用于降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似。1、Contrastive Loss简介对比损失在非监督学习中应用很广泛。最早源于 2006 年Yann LeCun的“Dimensionality Reduction by Learning an Invariant Mappin...
contrastive loss pytorch
06-28
### 回答1： 对比损失（Contrastive Loss）是一个用于度量相似度或距离的损失函数。在PyTorch中，我们可以使用这个损失函数来训练一些需要度量相似度或距离的模型，比如人脸识别、语音识别等。该损失函数的计算方式是将正样本（相似样本）的距离（或相似度）降低，将负样本（不相似样本）的距离（或相似度）增加。 ### 回答2： 对比损失是一种针对分类问题的常见损失函数，用于衡量两个样本之间的相似度或差异度。PyTorch提供了实现对比损失的API，即`nn.ContrastiveLoss()`。 对比损失的计算方法是将两个输入样本通过一个共享的神经网络模型，得到两个特征向量$f(x_1), f(x_2)$，然后计算它们之间的欧氏距离$d = ||f(x_1)-f(x_2)||_2$，并将其作为损失函数的一部分。如果两个相同类别的样本（即$y_1=y_2$）距离小于一个预设的阈值$m$，则认为它们是“相似”的，此时损失为$d^2$，反之如果是不同类别的样本（即$y_1\neq y_2$）距离大于$m$，则认为它们是“不相似”的，此时损失为$max(0, m-d)^2$。 在PyTorch中，可以使用以下代码来定义对比损失： ```python loss_fn = nn.ContrastiveLoss(margin=1.0) ``` 其中`margin`参数是阈值$m$。 然后将输入样本和相应标签传递给模型并计算损失，例如： ```python x1, x2 = get_input_samples() # 获取输入样本 y = get_input_labels() # 获取标签 out1, out2 = model(x1, x2) # 执行前向计算 loss = loss_fn(out1, out2, y) # 计算损失 ``` 需要注意的是，在使用对比损失函数时，样本对的构造方式至关重要。一般来说，可以使用负采样的方式来构造不同类型的样本对，使得训练集中正样本和负样本数量相等。否则，模型很容易就会收敛到一个平凡的解。 总之，对比损失是一种较为常用的损失函数，可以用于许多不同的任务，例如人脸识别、图像检索、文本分类等。在PyTorch中，可以很方便地使用`nn.ContrastiveLoss()`实现对比损失的计算。 ### 回答3： contrastive loss就是一种损失函数，其主要目的是将同类样本的特征向量拉近，把不同类的特征向量拉远。这有助于使训练模型更加准确地分类不同类的问题。 PyTorch是一种用于构建深度学习模型的开源框架，使用PyTorch可以更方便地实现深度学习算法。 在PyTorch中，实现contrastive loss的方法可以通过构建一个自定义的损失函数来实现。首先，需要定义一个度量函数，用于度量输入样本之间的相似度。其中，常见的度量函数有欧式距离和余弦距离等。然后，在自定义的损失函数中，根据度量函数计算输入样本之间的相似度，并利用这些值来计算损失。 具体而言，对于具有标签的输入数据，损失函数的计算包括以下步骤： 1. 首先，将输入数据分为两类，一类是同类样本，一类是不同类样本。 2. 对于同类样本，使用定义的度量函数度量它们之间的相似度，并将相似度值作为损失函数的一部分。 3. 对于不同类样本，使用度量函数度量它们之间的距离，并将距离值作为损失函数的一部分。同时，需要设置一个阈值，将距离值小于阈值的样本划分为同类样本。 4. 最终，将同类样本和不同类样本的损失加权求和，并反向传播用于调整模型参数。 总之，contrastive loss pytorch可以通过自定义损失函数来实现。对于训练深度学习模型时需要进行分类或相似度匹配问题时，contrastive loss pytorch是一个非常有效的工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

00000cj

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值