对比学习（Contrastive Learning）

于 2024-09-02 09:58:52 发布
阅读量1.1k 收藏 25
点赞数 21
分类专栏： 深度学习笔记 文章标签： 学习 机器学习 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Iawfy22/article/details/141811368
版权

对比学习（Contrastive Learning）

基本概念

传统任务中，对于预训练模型，在训练中，大多都是用分类去做的。但是这种方法具有一定的局限性，例如，在做一个分类中，我们最初会给模型确定一个类别值，即要分成多少类别，而这种设定，恰恰可能会给我们的模型强加一个束缚，即在训练中，每次都是不断地提取关于这些指定类别的特征，而不去关注其他特征，限制了我们模型和数据的最大潜力——我们给定了标签，限制了模型就干什么，而我们应该在训练模型中，不要让他被标签所束缚，模型的潜力应该由他自己挖掘

对比学习（自监督学习）——不需要准备标签，使得我们的模型具有特征提取的能力

通俗来讲，对比学习，就是要判断异同——相同的就是正例，不同的就是负例，让模型学习其中的规律

标签的定义

对比学习中，最重要的是不进行标签定义

而是要通过模型自己去学习数据中的规律，自己进行标签的定义

如何表示特征

假设我们已经有了样本，为了区分正例与负例，我们应该计算两个样本之间的相似度

在这里插入图片描述

以输入数据为图片为例：

  • 将图像做成向量（encoder过程）
  • 定义相似度的函数（余弦相似度）
  • 计算正负样本之间的距离
    • 正样本之间越近越好
    • 负样本之间越远越好

SimCLR Framework

在对比学习论文中，SimCLR比较具有代表性，因此一下笔记都是基于SimCLR模型进行介绍对比学习

整体模型

在这里插入图片描述

输入数据后

首先，对数据进行数据增强（例如裁剪、调整大小、旋转、重新着色等），对输入数据进行随机数据增强，得到两个样本 x i x_i xi​ 和 x j x_j xj​ ，这两个样本属于正样本（来自于同一张图片）

然后，进行**encoder过程**，对这两个数据进行编码，转化为向量形式 h i h_i hi​ 和 h j h_j hj​

最后通过一个全连接层（Dense + Relu + Dense）,的到最后的两个输出 z i z_i zi​ 和 z j z_j zj​，并且计算他们之间的相似度

而我们的目标函数为最小化两个输出之间的相似度

对比学习给我们提供的是特征提取的能力，能够提取更具有代表性的特征，在下游任务中的表现更好

注意，是 h i h_i hi​ 和 h j h_j hj​ 应用于下游任务，而不是经过全连接层加工之后的数据应用于下游任务。因为使用原生数据，可以使得模型的泛化能力更强

同时，在模型的学习中，

  • 为了防止模型坍塌，还要注意正样本和负样本要同时学习，
  • 并且要求对比学习的训练过程中时，batch设置的比较大，能够更好的提高模型的学习能力

batch 数据输入

假设一个批量为2，输入数据后，会进行随机数据增强：

在这里插入图片描述

如上图中，红色的连线是正样本，蓝色的连线是负样本，他们是互为的关系

特征提取

对于特征提取（encoder部分），可以使用transform模型进行

并且 encoder部分可大可小，一般而言，使用的模型越大，效果可能越好

基本思想

其实就是同类越相似（一般使用余弦相似度来定义）

在这里插入图片描述

一般而言，对于上图右侧的矩阵，要去掉对角线上的元素

因为对角线元素代表自己跟自己，如果我们给他一个明确的定义来计算，那么可能会使得同类之间学习的效果较差（浅绿色部分），因此需要去除对角线

在这里插入图片描述

损失函数的设计
l i , j = − l o g e x p ( s i m ( z i , z j ) / τ ) ∑ k = 1 2 N 1 [ k ≠ i ] e x p ( s i m ( z i , z k ) / τ ) l_{i,j} = -log\frac{exp(sim(z_i, z_j) / \tau)}{\sum_{k=1}^{2N}\mathbb{1}_{[k\neq i]}exp(sim(z_i, z_k) / \tau)} li,j​=−log∑k=12N​1[k=i]​exp(sim(zi​,zk​)/τ)exp(sim(zi​,zj​)/τ)​
分子表示同类，分母表示不同类。

对于 除以 τ \tau τ，由于该数一般小于1，能够起到增大负例之间的差异、正例之间的相似

数据增强技术

在论文中提到，数据增强逐渐成为核心技术

数据增强的方法越花里胡哨可能效果越好，因为越花里胡哨，会使得数据的变化越大，就需要学习更多的东西

SimCLR V2

相比于SimCLR第一个版本，把模型做的更大，加入了蒸馏技术

在这里插入图片描述

Multiview Coding多视角

一方面，为了增加训练的难度，另一方面为了更好的计法模型的潜能，通常还需要对数据做一个多视角任务

多视角相当于对数据进行变化，从多个不同的视角进行变换

在这里插入图片描述

如上图，我们分别对图片进行一些变化（分割，深度等），但无论我们做什么变化，都是基于原图进行变化的，因此他们仍然要属于同一个类别

BYOL

不需要将负样本加入训练，就可以进行对比学习

在这里插入图片描述

整体流程为：

  • 输入数据，依次进行编码、全连接层，最终得到两个输出
  • 然后将其中一个输出作为目标值（如上图下面的输出），另一个输出作为预测值，类似于做一个回归的任务进行预测

但是，有个外国大佬对其进行过质疑，因此在该模型中的全连接层中（MLP），使用了batch normalization，即使用整个批量进行了标准化过程，因此会导致数据间接的利用了负样本的一些特征信息，而不是真正的完全脱离负样本进行训练

在这里插入图片描述

Iawfy22
关注
专栏目录
对比学习Contrastive Learning原理与代码实例讲解
程序员光剑
06-04 1015
1.背景介绍 在深度学习的背景下，对比学习（Contrastive Learning）是一种无监督学习方法，它通过学习将相似样本和不同样本区分开来。这种方法的核心思想是强制模型学习输入数据中的内在结构，从而在没有标签的情况下实现有效学习。随着大规模数据集的出现，以及计算能力的飞速发展，对比学习已经成为了许多研究领域的热点话题。
对比学习Contrastive Learning
yang_daxia的博客
12-21 2万+
对比学习是一种常用的自监督学习方法。 核心思想：把正样本距离拉近，正样本与负样本距离拉远。（类似度量学习中的margin, 但是对比学习为正负样本分类，无margin概念） 方式：通过一个正样本，以及k个负样本进行对比学习，研究表明K越大越好，可以取几万个。 优化问题：对于一个正样本，需要和k个负样本做分类，使模型分清楚哪些是正样本，哪些是负样本，用交叉熵即可。如下图 经典方法： memory bank:把所有样本的logits存起来，计算loss MoCo：用一个qu...
对比学习原理与代码实战案例讲解
最新发布
AI大模型应用之禅
06-18 1018
1. 背景介绍 在机器学习领域中，对比学习是一种重要的学习方式。它通过比较两个样本之间的相似性来学习模型，从而实现分类、回归等任务。对比学习在计算机视觉、自然语言处理等领域中得到了广泛的应用。本文将介绍对比学习的核心概念、算法原理、数学模型和公式、项目实践、实际应用场景、工具和资源推荐、未来发展趋势与挑战以及常见问题与解答。
对比学习
努力的小胡同学的博客
04-09 412
对比学习首先介绍自监督学习方法对比学习细节 首先介绍自监督学习 自监督学习属于无监督学习范式的一种，特点是不需要人工标注的类别标签信息，直接利用数据本身作为监督信息，来学习样本数据的特征表达，处理任务。 方法 1.Generative Methods（生成式方法）这类方法以自编码器为代表，主要关注pixel label的loss。举例来说，在自编码器中对数据样本编码成特征再解码重构，这里认为重构的效果比较好则说明模型学到了比较好的特征表达，而重构的效果通过pixel label的loss来衡量。 2.Con
对比学习(Contrastive Learning)
HsinglukLiu的博客
03-10 693
文章目录Understanding Contrastive Learning Understanding Contrastive Learning https://towardsdatascience.com/understanding-contrastive-learning-d5b19fd96607
对比学习（contrastive learning）
热门推荐
cziun的博客
07-28 10万+
什么是自监督学习？ 举个通俗的例子：即使不记得物体究竟是什么样子，我们也可以在野外识别物体。 我们通过记住高阶特征并忽略微观层面的细节来做到这一点。那么，现在的问题是，我们能否构建不关注像素级细节，只编码足以区分不同对象的高阶特征的表示学习算法？通过对比学习，研究人员正试图解决这个问题。 什么是对比学习？ 对比学习是一种自监督学习方法，用于在没有标签的情况下，通过让模型学习哪些数据点相似或不同来学习数据集的一般特征。 让我们从一个简单的例子开始。想象一下，你是一个试图理解世界的新生婴儿。在家里，假设你有两只
对比学习一览！
weixin_43641852的博客
04-02 920
其中，h⋅h（·）h⋅函数对正样本对输出高值，对负样本对输出为低值。该函数从包含k个负样本的集合S = {xy1y2ykxy1​y2​..yk​}中正确选择单个正样本x。其中k为负样本个数。如何解决K负样本个数过大的问题？1.MemoryBank：随机采样m个负样本和一个正样本共同组成m1m+1m1个数量的样本。2.采用噪声对比估计（NCE-Loss）：将k+1个数据理解为k+1个类别进行计算h⋅h（·）h⋅函数如何计算？
对比学习(Contrastive Learning) (1)
weixin_47062807的博客
02-08 6364
三篇论文 《Supervised Contrastive Learning》 《A Simple Framework for Contrastive Learning of Visual Representations》 《What Makes for Good Views for Contrastive Learning》 对比学习的思想起源于无监督学习，相比于监督学习算法，无监督学习由于没有标签的指导，训练过程学习样本的特征会更加困难。对比学习的核心思想就是通过数据增强构造原来样本的多样性，损失函数的
理解对比表示学习(Contrastive Learning)
xxxxxxxxxx13的博客
12-12 2万+
目录一、前言二、对比学习三、主要论文（附代码分析）1.MOCO ([Kaiming He](https://ieeexplore.ieee.org/document/9157636) *et al.* 2020)2. SIMCLR ([Geoffrey Hinton](https://arxiv.org/pdf/2002.05709.pdf) *et al* 2020)3. AMDIM ([Bachman](https://arxiv.org/pdf/1906.00910.pdf) *et al.* 201
Contrastive Learning——对比学习
THE_CS_UNIVERSE的博客
01-06 341
1.定义 对比式学习着重于学习同类实例之间的共同特征，区分非同类实例之间的不同之处。 与生成式学习比较，对比式学习不需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即可，因此模型以及其优化变得更加简单，且泛化能力更强。 对比学习的目标是学习一个编码器，此编码器对同类数据进行相似的编码，并使不同类的数据的编码结果尽可能的不同。 2.基本思想 缩小正样本的距离，扩大与负样本之间的距离 ...
对比学习 Contrastive Learning
hxxjxw的博客
05-24 379
对比学习属于无监督学习 对比式学习着重于学习同类实例之间的共同特征，区分非同类实例之间的不同之处。 与生成式学习比较，对比式学习不需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即可，因此模型以及其优化变得更加简单，且泛化能力更强。 ...
比较学习
lph2017的博客
03-14 251
为啥不会重复
# Contrastive Learning（对比学习）--CLIP笔记（一）
ziggybowie的博客
04-12 1939
CLIP是一种多模态预训练模型，由OpenAI在2021年提出，论文标题：Learning Transferable Visual Models From Natural Language Supervision （[论文有四十多页，作者做了超级多的实验，看李沐老师和朱老师的视频讲解也算是一次知识蒸馏（[by Hinton）了通过大量的图像-文本对进行训练，CLIP的核心思想是通过对比学习来训练模型。它将图像与文本配对，并尝试将它们映射到相同的特征空间中。
对比学习方法
小武的知识铺
12-21 1425
工作以来先后从事过 Android，Web（Vue，React）的开发工作，私下也捣鼓过微信小程序，Flutter 等前端开发技术。不断的工作学习中，也为自己总结了一套属于自己的学习套路-对比学习。 对比学习方法是借助自己现有的技术栈通过对比快速掌握其他技术栈的方法。 1. 语言基础 我第一门掌握的语言是 Java，后来学习 js 的时候，Java 的编程经验给了我极大的帮助，使得我并不是从 0 ...
对比学习是什么
m0_57236802的博客
11-08 587
对比学习（Contrastive Learning）是一种无监督学习的方法，它通过比较数据点来学习表示。在这种学习框架下，模型被训练以拉近（即减少距离）相似的数据点的表示，同时推开（即增加距离）不相似的数据点的表示。这种方法通常用于训练深度学习模型，尤其是在计算机视觉和自然语言处理领域。在对比学习中，通常会构建正样本对和负样本对。正样本对包括来自同一类别或具有相似特征的数据点，而负样本对则包括不同类别或不相似特征的数据点。
什么是对比学习
weixin_49148527的博客
11-15 371
• **什么是对比学习** ○ 对比学习,对比的对象是谁? **增强的数据** 在CV领域，对比学习是和携数据增强一起出道的。给定一张图片，生成不同的变体去增强它，然后用对比思想去学习。NLP领域也如法炮制。给一个句子，使用数据增强去生成和原句子语义相似的句子。比如下面的例子[1]： 如果两个增强句子来自同一个原句子，那么它们是同源的，否则是不同源的。本文发现，利用对比学习的特性，即拉近同源句子、拉远不同源句子，可以解决短文本聚类问题中一个令人头疼的问题——如果学习过程开始时，不同类别在表示空间
【深度学习】对比学习
Dong_ZH的博客
09-13 884
对比学习有的paper中称之为自监督学习[1]，有的paper称之为无监督学习[2]，自监督学习是无监督学习的一种形式，现有的文献中没有正式的对两者进行区分定义，这两种称呼都可以用。其常见的主要思想是模型能够更加重新的学习到编码器的特征：尽可能的缩小相似样本的距离，拉大正负样本的距离，这里可以理解为让聚类的界限更加明显。自监督学习(Self-supervised learning)可以避免对数据集进行大量的标签标注。
【机器学习】对比学习（contrastive learning）
TwcatL_tree
11-21 3877
SSL 中使用的最古老和最受欢迎的技术之一是对比学习，它使用“正”和“负”样本来指导深度学习模型。此后，对比学习得到了进一步发展，现在被用于完全监督和半监督的环境中，并提高了现有技术水平的性能。现在让我们讨论一下对比学习的工作原理。对比学习如何在 Vision AI 中发挥作用？对比学习模仿人类的学习方式。例如，我们可能不知道什么是水獭或什么是灰熊，但看到图像（如下所示），我们至少可以推断出哪些图片显示的是相同的动物。
Contrastive Learning
07-28
对比学习是一种自监督的、与任务无关的深度学习技术，它允许模型学习数据，即使没有标签。该方法通过学习哪些类型的图像相似，哪些不同，来学习数据集的一般特征。对比学习的目标是使相似的图像具有相似的表示，从而允许模型学习如何区分图像。这种方法在标签稀缺的情况下尤为有用，因为预训练模型可以通过对数据有一般理解来提高标签效率，并在特定任务上进行微调，例如图像分类。对比学习方法的一个例子是SimCLRv2，它学习如何表示图像，使得相似的图像具有相似的表示。通过对比学习，模型可以更好地理解数据集的特征，并在特定任务上取得更好的性能。\[1\] \[2\] 生成式方法和对比式学习是两种不同的方法。生成式方法主要关注像素级别的重构，通过自编码器等模型将数据样本编码成特征再解码重构，通过衡量重构的效果来评估模型学习到的特征表达的好坏。而对比式学习则着重于学习同类实例之间的共同特征，区分非同类实例之间的不同之处。对比式学习不需要关注实例上的细节，只需要在抽象语义级别的特征空间上学会对数据进行区分，因此模型的优化变得更加简单，且具有更强的泛化能力。\[3\] #### 引用[.reference_title] - *1* *2* [对比学习（contrastive learning）](https://blog.csdn.net/cziun/article/details/119118768)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [对比学习介绍Contrastive Learning](https://blog.csdn.net/weijie_home/article/details/119600296)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值