【学习笔记--短文--对比学习2】通过对比损失（Contrastive Loss）设计loss function

已于 2023-11-21 10:30:54 修改
阅读量1.8k 收藏 10
点赞数 2
文章标签： 机器学习 算法 人工智能
于 2023-11-17 22:05:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54335478/article/details/134470751
版权

本篇内容参考对比损失思想设计loss function的方法，有关对比学习相关工作的讲解请细看原文。

目录

一、对比损失介绍（What）

二、对比损失的定义 

 三、一些现有工作

1. Improved Deep Metric Learning with Multi-class N-pair Loss Objective

 2.  Unsupervised Feature Learning via Non-Parametric Instance Discrimination

3. Momentum Contrast for Unsupervised Visual Representation Learning

四、初认识——Contrastive learning

一、对比损失介绍（What）

        对比损失在非监督学习中应用很广泛。最早源于 2006 年Yann LeCun的“Dimensionality Reduction by Learning an Invariant Mapping”，该损失函数主要是用于降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似；而原本不相似的样本，在经过降维后，在特征空间中，两个样本仍旧不相似。同样，该损失函数也可以很好的表达成对样本的匹配程度。

Paper_Add：Dimensionality Reduction by Learning an Invariant Mapping | IEEE Conference Publication | IEEE Xploreicon-default.png?t=N7T8https://ieeexplore.ieee.org/abstract/document/1640964

        在非监督学习时，对于一个数据集内的所有样本，因为我们没有样本真实标签，所以在对比学习框架下，通常以每张图片作为单独的语义类别，并假设：同一个图片做不同变换后不改变其语义类别，比如一张猫的图片，旋转或局部图片都不能改变其猫的特性。因此，假设对于原始图片 X，分别对其做不同变换得到 A 和 B，此时对比损失希望 A、B 之间的特征距离要小于 A 和任意图片 Y 的特征距离。

二、对比损失的定义 

        对比损失（Contrastive Loss）是对比学习中常用的一种损失函数，它通过比较正样本对和负样本对之间的相似性，引导模型学习有意义的特征表示。在对比损失中，目标是使正样本对的相似性更大，而负样本对的相似性更小。

对比损失的定义如下：

设输入样本为 x_i 和 x_j，它们分别属于同一类别的正样本对，或者来自不同类别的负样本对。对于这两个样本，模型输出的特征表示分别为 f(x_i) 和 f(x_j)，通常通过一个神经网络得到。

对比损失的基本形式是欧氏距离（Euclidean Distance）的平方，如下：

L_{ij}=\frac12\cdot y_{ij}\cdot\|f(x_i)-f(x_j)\|_2^2+\frac12\cdot(1-y_{ij})\cdot\max(0,m-\|f(x_i)-f(x_j)\|_2)^2

其中：
· y_{ij}是指示函数，当样本 x_i 和 x_j 属于同一类别时为1，不同类别时为0。
· m 是一个控制负样本对间隔的超参数，通常称为margin。
· 欧氏距离用于度量样本对在特征空间中的距离。
· L_{ij} 表示样本对 x_i 和 x_j 的对比损失。

        对比损失的含义是，在正样本对 x_i 和 x_j 属于同一类别时，通过最小化它们的特征表示间的距离来促使相似性增加；而在负样本对时，通过最小化它们的距离与margin之差的平方来促使相似性减小。

对比损失函数L：

L(W,(Y,X_1,X_2))=\frac{1}{N}\sum_{n=1}^{N}YD_W^2+(1-Y)max(m-D_w,0)^2

其中， D_W(X_1,X_2)=||X_1-X_2||_2=(\sum_{i=1}^P(X_1^i-X_2^i)^2)^{\frac12}

D_W代表两个样本特征的欧式距离，P代表特征的维度，Y为两个样本是否匹配的标签（Y = 1代表两个样本相似或匹配，Y = 0代表两个样本不相似或不匹配），M为设定的阈值（超过M的把其loss看作 0，即如果两个不相似特征离得很远，那么对比loss应该是很低的），N为样本数量。

通过 ： (X_1,X_2)=||X_1-X_2||_2=(\sum_{i=1}^P(X_1^i-X_2^i)^2)^{\frac12}，

可以发现，对比损失可以很好的描述成对样本的匹配程度，能够很好的用于训练提取特征的模型：

(1) 当Y = 1时，即两个样本相似或匹配时，损失函数\begin{aligned}L_s=\frac{1}{N}\sum_{n=1}^NYD_W^2\end{aligned}，即如果原本相似或匹配的样本如果其被模型提取的特征欧氏距离很大，说明模型效果不好导致loss很大。

(2) 当Y = 0时，即两个样本不相似或不匹配时，损失函数L_s=(1-Y)max(m-D_w,0)^2，如果这时两个样本被模型提取的特征欧式距离很小，那么loss会变大以增大模型的惩罚从而使loss减小，如果两个样本被模型提取的特征欧式距离很大，说明两个样本特征离得很远，此时如果超过阈值M则把其loss看作 0，此时的 loss很小。

 三、一些现有工作

1. Improved Deep Metric Learning with Multi-class N-pair Loss Objective

Paper_add：https://proceedings.neurips.cc/paper/2016/file/6b180037abbebea991d8b1232f8a8ca9-Paper.pdf

简介：本文是基于 Distance metric learning，目标是学习数据表征，但要求在 embedding space 中保持相似的数据之间的距离近，不相似的数据之间的距离远。其中，N-pair loss指的是——需要从 N 个不同的类中构造 N 对样本——属于自监督学习。

 2.  Unsupervised Feature Learning via Non-Parametric Instance Discrimination

Paper_add：https://arxiv.org/pdf/1805.01978.pdf

简介：本文将 instance discrimination 机智地引入了 memory bank 机制，并且真正地把 loss 用到了 unsupervised learning。该论文主要论述如何通过非参数的 instance discrimination 进行无监督的特征学习。主要的思想是将每个单一实例都看作不同的“类”。
其中，Instance discrimination 区分不同实例，将当前实例于不同实例进行空间划分 memory bank 由数据集中所有样本的表示组成。

3. Momentum Contrast for Unsupervised Visual Representation Learning

Paper_add：https://arxiv.org/pdf/1911.05722.pdf

简介：本文解决了一个非常重要的工程问题：如何节省内存节省时间搞到大量的 negative samples？文章的 motivation源于之前 contrastive learning 存在两种问题：1）在用 online 的 dictionary 时（即是文章中比较的 end-to-end 情形），constrastive learning 的性能会受制于 batch size，或者说显存大小。2）在用 offline 的 dictionary 时（即是文章中说的 memory bank（InstDisc）情形），dictionary 是由过时的模型生成的，某种程度上可以理解为 supervision 不干净，影响训练效果。那么很自然的，如果想要一个 trade-off，兼顾 dictionary 的大小和质量。文章给出的解法是对模型的参数空间做 moving average，相当于做一个非常平滑的 update。

四、初认识——Contrastive learning

        经过对Contrastive learning的定义和基本知识的学习。大家应该可以发现，设计对比学习模型的重点在于——定义一个合适的对比损失函数和构建对比样本。

        对比学习是一种自监督学习方法，通过学习样本之间的相似性和差异性，来学习有意义的特征表示。在设计对比学习模型时，我们可以从下面的一些关键点着重切入：

  1. 对比损失函数的选择： 对比损失函数是对比学习模型的核心。常见的对比损失函数包括Triplet Loss、Contrastive Loss、N-pair Loss等。这些损失函数在衡量正样本对之间的相似性和负样本对之间的差异性方面有不同的设计思路。选择适合任务和数据特点的对比损失函数非常关键。

  2. 正负样本的构建： 对比学习依赖于构建正负样本对。正样本对应于同一样本的不同视图或增强，而负样本对应于不同样本。合理的样本构建策略有助于提高模型的泛化能力。对于图像任务，可以使用数据增强、随机裁剪等方式生成正负样本对。

  3. 网络架构设计： 对比学习模型的网络架构应当能够捕捉输入样本的有意义表示。常用的网络架构包括Siamese Network、Triplet Network以及近年来流行的Contrastive Divergence等。网络架构的设计需要考虑模型的深度、宽度以及是否使用预训练模型等因素。

  4. 学习率和优化算法： 对比学习的训练通常需要仔细调整学习率和选择合适的优化算法。适当的学习率可以加速模型收敛，而优化算法的选择可能影响到损失函数的优化效果。

  5. 评估指标： 在设计对比学习模型时，需要定义合适的评估指标来衡量模型的性能。这可能涉及到对比学习任务的具体应用，例如图像检索、特征表示学习等。

  6. 领域特定的调整： 对于不同的任务和应用场景，可能需要进行一些领域特定的调整。这包括选择合适的输入特征、调整损失函数的权重、进行领域自适应等。


        后期，我将整理一篇对比学习高质量论文集，希望能从任务、构建loss角度等方面分块介绍一些有价值的研究工作。希望和大家一起进步！

小曦成长日记
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习笔记 - 关于Contrastive Loss对比损失
学以致用 知行合一
09-06 2934
孪生网络的目标不是对一组图像对进行分类，而是区分它们。从本质上讲，对比损失是评估孪生网络在图像对之间的区分程度。虽然二元交叉熵（下图公式）肯定是损失函数的有效选择，但它不是唯一的选择（甚至不是最佳选择）。其中Y是我们的标签。如果图像对属于同一类，则为 1，如果图像对属于不同类，则为 0。然而，实际上有一个更适合孪生网络的损失函数，称为对比损失。max 函数取最大值 0 和边距 m 减去距离。如果能读得进去论文，可以更深入了解下。变量是孪生网络的输出之间的欧几里得距离。
contrastive-learning:对比学习方法
03-10
对比学习方法 支持更多内容的对比学习方法的第三方pytorch实现（请参阅“可用内容”部分）。 有什么可用的？ 使用SimCLR进行对比学习预训练 通过停止梯度进行在线线性评估 Pytorch闪电登录和默认收益（多GPU训练，混合精度等） 在GPU装置上收集负片以模拟更大的批次大小（尽管梯度不会在GPU上流动） 使用加快数据加载速度（以使用更多GPU内存为代价） SimCLR多分辨率农作物 SimCLR + 预训练后线性评估（通常得出1-1.5％的准确度点） 工作于： 结果 模型 方法 数据集 时代 批 温度 多作 大理 监督下 在线线性评估 预训练后线性评估 Resnet18 SimCLR Imagenet-100 100 256 0.2 70.74 71.02 Resnet18 SimCLR Imagenet-100 100 256 0.2 :check_mark_button:
【CV】常见的损失函数及应用举例：交叉熵、对比、余弦、Dice、Focal Loss
种一棵树最好的时间是十年前，其次是现在
06-25 4574
损失函数的作用是衡量模型预测值与真实值之间的差异，从而评估模型的性能，并通过优化算法（如梯度下降）来调整模型参数，使得损失函数的值最小化，进而提高模型的预测准确性。具体来说，损失函数通常用于监督学习中，给定样本的特征和标签，模型根据特征预测标签，并将预测值与真实值进行比较，计算出损失值。优化过程就是在不断地调整模型参数，使得损失值越来越小。因此，损失函数是优化算法的重要组成部分，它决定了模型优化的方向和速度。
Contrastive Loss 对比损失函数及梯度的计算
SmileLing的专栏
07-26 2万+
Contrastive loss 最初源于 Yann LeCun “Dimensionality Reduction by Learning an Invariant Mapping” CVPR 2016。 该损失函数主要是用于降维中，即本来相似的样本，在经过降维（特征提取）后，在特征空间中，两个样本仍旧相似；而原本不相似的样本，在经过降维后，在特征空间中，两个样本仍旧不相似。同样，...
【损失函数】Contrastive Loss, Triplet Loss and Center Loss
weixin_43882112的博客
11-05 3825
文章目录1. Contrastive Loss vs Triplet Loss:Contrastive Loss [1]：Triplet Loss [2]：2. 问题引入：3. Contrastive Loss：对比损失定义：含义：4. Triplet Loss：三元组损失定义：目标：公式：进阶：FaceNet 1. Contrastive Loss vs Triplet Loss: Contrastive Loss [1]： 来源：Yann LeCun论文：Dimensionality Reduction
对比学习知识扩展——一堆奇奇怪怪的loss，快把我压死了orz...
The smart is sexy
11-20 4136
1.交叉熵loss和对比loss区别 交叉熵 loss 是 最后结果过一层 fc 然后进行 softmax 。 然后 fc 的系数 W 就是特征的模板（模板的意思是把一些特征用这个Wc参数转换后，就能判断它是否是c类，相当于这个Wc就是c类的模板） 非参数样本分类 loss : 这里所谓非参数样本分类，则是将每个计算出的样本特征作为模板 对比 loss 2.Triplet Loss 和 对比loss 区别： Triplet Loss 负样本只有一对 对比 loss 负样本有很多对...
对比损失思想设计loss function的方法
数据派THU
04-17 1681
来源：Kaggle竞赛宝典 PaperWeekly 本文约4600字，建议阅读10+分钟 本文与你分享Contrastive Loss的定义及应用了对比损失的工作小结。1、Contrastive Loss简介对比损失在非监督学习中应用很广泛。最早源于 2006 年Yann LeCun的“Dimensionality Reduction by Learning an Invariant Mappin...
对比学习损失 InfoNCE
ucas_v博客
06-19 2177
它侧重于学习一个特征空间，其中相似的样本被拉近，而不相似的样本被推远。对比学习损失：对于每个样本，计算其与正样本和负样本之间的距离。对比学习损失的目标是最小化正样本之间的距离，同时最大化负样本之间的距离。然后在有标签的数据上训练分类层，这可以是一个单独的训练阶段，也可以与对比学习损失的训练同时进行。数据准备：首先，为每个样本生成一个对应的正样本（相似的样本）和负样本（不相似的样本）。例如，如果你的数据集是图像分类任务，那么正样本可以是相同类别的不同图像，负样本可以是不同类别的图像。
深度学习方法（十九）：一文理解Contrastive Loss，Triplet Loss，Focal Loss
Bin 的专栏
03-08 2万+
我们平时ML任务的时候，用的最多的是cross entropy loss或者MSE loss。需要有一个明确的目标，比如一个具体的数值或者是一个具体的分类类别。但是ranking loss实际上是一种metric learning,他们学习的相对距离，相关关系，而对具体数值不是很关心。ranking loss 有非常多的叫法，但是他们的公式实际上非常一致的。大概有两类，一类是输入pair 对，另外一种是输入三元组结构。
对比学习代码contrastive-codes.zip
06-25
在这个"contrastive-codes.zip"压缩包中，包含的是对比学习相关的代码实现、超参数调优过程、日志记录结果以及可能的新数据集"ohsumed"。接下来，我们将深入探讨对比学习的核心概念、应用以及如何与数据集结合。 ...
最新的对比自监督学习（Contrastive Self-supervised Learning）综述论文
09-22
对比自监督学习(Contrastive Self-supervised Learning)是一种新兴的学习方法，它在无需大量人工标注数据的情况下，通过自我定义的伪标签(self-defined pseudo labels)引导模型学习有效的表示(representation)。...
contrastive-learner:一个简单易用的pytorch包装器，可在任何神经网络上进行对比式自我监督学习
05-06
$ pip install contrastive-learner 用法 SimCLR（具有标准化温度标度的交叉熵损失的投影头） import torch from contrastive_learner import ContrastiveLearner from torchvision import models resnet = m
对比学习-基于Pytorch实现的对比学习算法-附项目源码-优质项目实战.zip
05-29
3. **损失函数（Loss Function）**：常用的对比学习损失函数有InfoNCE、Triplet Loss或 Contrastive Loss等。InfoNCE是最常见的，它是InfoMax的一个变体，旨在最大化正样本对的对数似然与负样本对的对数似然之差。 ...
两种对比学习损失：contrastive loss 和 infoNCE loss
weixin_47032489的博客
01-22 2754
总的来说，对比损失和infoNCE损失都是有效的对比学习方法，可以用于无监督学习任务。选择使用哪种损失函数取决于具体的任务和模型结构，以及对样本相似性度量的需求。对比损失（contrastive loss）和信息最大化非条件估计损失（infoNCE loss）是两种常用于对比学习的损失函数。
Contrastive Loss (对比损失)
热门推荐
autocyz
11-13 7万+
Contrastive Loss (对比损失)在caffe的孪生神经网络（siamese network）中，其采用的损失函数是contrastive loss，这种损失函数可以有效的处理孪生神经网络中的paired data的关系。contrastive loss的表达式如下： L=12N∑n=1Nyd2+(1−y)max(margin−d,0)2L=\frac{1}{2N}\sum_{n=1}
对比学习+分割 | 论文阅读
qq_43288368的博客
05-09 2346
Contrastive Learning for Label Efficient Semantic Segmentation 在同一图片内，相同种类的像素应该接近，不同种类的像素应该远离；鼓励像素根据其标签分成不同的簇。 在不同的图片间，引入额外的正例，即为来自不同图像的同类像素，并认为是一种harder positive；但是不使用额外的负例，因为不同图片的不同类像素是一种easier negative。 Contrastive learning of global and local features
CMPC: Cross-modal Prototype Contrast (跨模态原型对比)解读
weixin_73784868的博客
12-08 1019
Cross-modal Prototype Contrast (跨模态原型对比，简称CMPC)是一种无监督的声音-面部图像表示学习方法。这种方法利用对比学习来抵抗假阴性和偏离正性的不利影响。假阴性： 指的是在不同视频中同一个人的人脸被错误地分到不同的类别中，即对比学习中的负样本偏离正性：指的是在不同视频中不同人的人脸被错误地分到同一个类别中，即对比学习中的正样本。
对比学习loss-Triplet Loss, Ranking Loss, Margin Loss、center loss
weixin_36378508的博客
11-04 6037
Ranking Loss简介 ranking loss实际上是一种metric learning,他们学习的相对距离，而不在乎实际的值. 其应用十分广泛，包括是二分类，例如人脸识别，是一个人不是一个人。 在不同场景有不同的名字，包括 Contrastive Loss, Margin Loss, Hinge Loss or Triplet Loss. 但是他们的公式实际上非常一致的。大概有两类，一类是输入pair 对，另外一种是输入3塔结构。 Pairwise Ranking Loss 对于正样本。
机器学习开源分子生成系列(2)-基于三维形状和静电相似性的DeepFMPO v3D安装及使用
最新发布
Blockbuater_drug
07-11 519
本文是基于 3D 的分子生成方法DeepFMPO v3D的介绍及安装使用。
contrastive loss pytorch
06-28
### 回答1： 对比损失（Contrastive Loss）是一个用于度量相似度或距离的损失函数。在PyTorch中，我们可以使用这个损失函数来训练一些需要度量相似度或距离的模型，比如人脸识别、语音识别等。该损失函数的计算方式是将正样本（相似样本）的距离（或相似度）降低，将负样本（不相似样本）的距离（或相似度）增加。 ### 回答2： 对比损失是一种针对分类问题的常见损失函数，用于衡量两个样本之间的相似度或差异度。PyTorch提供了实现对比损失的API，即`nn.ContrastiveLoss()`。 对比损失的计算方法是将两个输入样本通过一个共享的神经网络模型，得到两个特征向量$f(x_1), f(x_2)$，然后计算它们之间的欧氏距离$d = ||f(x_1)-f(x_2)||_2$，并将其作为损失函数的一部分。如果两个相同类别的样本（即$y_1=y_2$）距离小于一个预设的阈值$m$，则认为它们是“相似”的，此时损失为$d^2$，反之如果是不同类别的样本（即$y_1\neq y_2$）距离大于$m$，则认为它们是“不相似”的，此时损失为$max(0, m-d)^2$。 在PyTorch中，可以使用以下代码来定义对比损失： ```python loss_fn = nn.ContrastiveLoss(margin=1.0) ``` 其中`margin`参数是阈值$m$。 然后将输入样本和相应标签传递给模型并计算损失，例如： ```python x1, x2 = get_input_samples() # 获取输入样本 y = get_input_labels() # 获取标签 out1, out2 = model(x1, x2) # 执行前向计算 loss = loss_fn(out1, out2, y) # 计算损失 ``` 需要注意的是，在使用对比损失函数时，样本对的构造方式至关重要。一般来说，可以使用负采样的方式来构造不同类型的样本对，使得训练集中正样本和负样本数量相等。否则，模型很容易就会收敛到一个平凡的解。 总之，对比损失是一种较为常用的损失函数，可以用于许多不同的任务，例如人脸识别、图像检索、文本分类等。在PyTorch中，可以很方便地使用`nn.ContrastiveLoss()`实现对比损失的计算。 ### 回答3： contrastive loss就是一种损失函数，其主要目的是将同类样本的特征向量拉近，把不同类的特征向量拉远。这有助于使训练模型更加准确地分类不同类的问题。 PyTorch是一种用于构建深度学习模型的开源框架，使用PyTorch可以更方便地实现深度学习算法。 在PyTorch中，实现contrastive loss的方法可以通过构建一个自定义的损失函数来实现。首先，需要定义一个度量函数，用于度量输入样本之间的相似度。其中，常见的度量函数有欧式距离和余弦距离等。然后，在自定义的损失函数中，根据度量函数计算输入样本之间的相似度，并利用这些值来计算损失。 具体而言，对于具有标签的输入数据，损失函数的计算包括以下步骤： 1. 首先，将输入数据分为两类，一类是同类样本，一类是不同类样本。 2. 对于同类样本，使用定义的度量函数度量它们之间的相似度，并将相似度值作为损失函数的一部分。 3. 对于不同类样本，使用度量函数度量它们之间的距离，并将距离值作为损失函数的一部分。同时，需要设置一个阈值，将距离值小于阈值的样本划分为同类样本。 4. 最终，将同类样本和不同类样本的损失加权求和，并反向传播用于调整模型参数。 总之，contrastive loss pytorch可以通过自定义损失函数来实现。对于训练深度学习模型时需要进行分类或相似度匹配问题时，contrastive loss pytorch是一个非常有效的工具。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值