对比学习Contrastive Learning

已于 2022-03-09 09:37:26 修改
阅读量2.1w 收藏 33
点赞数 3
分类专栏： 车牌识别 深度学习理论 文章标签： 对比学习 Contrastive
于 2020-12-21 18:01:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_daxia/article/details/111478798
版权
车牌识别 同时被 2 个专栏收录
45 篇文章 55 订阅 ¥19.90 ¥99.00
订阅专栏
深度学习理论
45 篇文章 4 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看
对比学习是一种自监督学习方法，旨在拉近正样本间距离，增大正样本与负样本间距离。通过与大量负样本对比，优化模型的分类能力。经典方法包括Memory Bank、MoCo和SimCLR等。应用广泛，如自监督学习、表征蒸馏、行人重识别（ReID）。对比学习与度量学习的区别在于，它不需要设置margin，而是基于K-pair的softmax损失进行学习。
摘要由CSDN通过智能技术生成

对比学习是一种常用的自监督学习方法。

核心思想：把正样本距离拉近，正样本与负样本距离拉远。（类似度量学习中的margin, 但是对比学习为正负样本分类，无margin概念）

方式：通过一个正样本，以及k个负样本进行对比学习，研究表明K越大越好，可以取几万个。

优化问题：对于一个正样本，需要和k个负样本做分类，使模型分清楚哪些是正样本，哪些是负样本，用交叉熵即可。如下图

        

经典方法：

memory bank:利用instance 分类，即每一个图片是一个类别。如imagenet就有120万类，用对比学习的方式。使用memory bank把所有样本的logits存起来&

了解本专栏 订阅专栏 解锁全文
yang_daxia
关注
专栏目录
订阅专栏
对比学习Contrastive Learning原理与代码实例讲解
AI天才研究院
06-04 1152
1.背景介绍 在深度学习的背景下，对比学习（Contrastive Learning）是一种无监督学习方法，它通过学习将相似样本和不同样本区分开来。这种方法的核心思想是强制模型学习输入数据中的内在结构，从而在没有标签的情况下实现有效学习。随着大规模数据集的出现，以及计算能力的飞速发展，对比学习已经成为了许多研究领域的热点话题。
对比学习用于分类任务
LIjin_1006的博客
05-02 1649
layers.RandomZoom((-zoom_factor, 0.0), (-zoom_factor, 0.0)),#随机缩放。self.contrastive_loss_tracker.update_state(contrastive_loss)#更新对比损失状态。probe_loss = self.probe_loss(labels, class_logits)#计算损失(带标签)probe_loss = self.probe_loss(labels, class_logits)#计算损失。
【有啥问啥】对比学习（Contrastive Learning，CL）的原理与前沿应用详解
最新发布
Chauvin的博客
09-17 1046
对比学习（Contrastive Learning）是自监督学习领域的关键方法之一，近年来因其在图像、文本和跨模态任务上的优越表现，受到了学术界和工业界的广泛关注。它的核心目标是通过对比相似和不相似样本，使模型学习到更加鲁棒的特征表示。这篇文章将深入探讨对比学习的基本原理、关键技术细节、应用场景及未来发展方向。
【深度学习：（Contrastive Learning） 对比学习】深入浅出讲解对比学习
欢迎来到最优秀的博客
01-04 2万+
对比学习是一种学习方法，侧重于通过对比正反两方面的实例来提取有意义的表征。它利用的假设是，在学习到的嵌入空间中，相似的实例应靠得更近，而不相似的实例应离得更远。通过将学习作为一项辨别任务，对比学习允许模型捕捉数据中的相关特征和相似性。
对比学习(Contrastive Learning) (1)
weixin_47062807的博客
02-08 6455
三篇论文 《Supervised Contrastive Learning》 《A Simple Framework for Contrastive Learning of Visual Representations》 《What Makes for Good Views for Contrastive Learning》 对比学习的思想起源于无监督学习，相比于监督学习算法，无监督学习由于没有标签的指导，训练过程学习样本的特征会更加困难。对比学习的核心思想就是通过数据增强构造原来样本的多样性，损失函数的
对比学习一览！
weixin_43641852的博客
04-02 1034
其中，h⋅h（·）h⋅函数对正样本对输出高值，对负样本对输出为低值。该函数从包含k个负样本的集合S = {xy1y2ykxy1​y2​..yk​}中正确选择单个正样本x。其中k为负样本个数。如何解决K负样本个数过大的问题？1.MemoryBank：随机采样m个负样本和一个正样本共同组成m1m+1m1个数量的样本。2.采用噪声对比估计（NCE-Loss）：将k+1个数据理解为k+1个类别进行计算h⋅h（·）h⋅函数如何计算？
【机器学习】对比学习（contrastive learning）
TwcatL_tree
11-21 4149
SSL 中使用的最古老和最受欢迎的技术之一是对比学习，它使用“正”和“负”样本来指导深度学习模型。此后，对比学习得到了进一步发展，现在被用于完全监督和半监督的环境中，并提高了现有技术水平的性能。现在让我们讨论一下对比学习的工作原理。对比学习如何在 Vision AI 中发挥作用？对比学习模仿人类的学习方式。例如，我们可能不知道什么是水獭或什么是灰熊，但看到图像（如下所示），我们至少可以推断出哪些图片显示的是相同的动物。
对比学习
努力的小胡同学的博客
04-09 443
对比学习首先介绍自监督学习方法对比学习细节 首先介绍自监督学习 自监督学习属于无监督学习范式的一种，特点是不需要人工标注的类别标签信息，直接利用数据本身作为监督信息，来学习样本数据的特征表达，处理任务。 方法 1.Generative Methods（生成式方法）这类方法以自编码器为代表，主要关注pixel label的loss。举例来说，在自编码器中对数据样本编码成特征再解码重构，这里认为重构的效果比较好则说明模型学到了比较好的特征表达，而重构的效果通过pixel label的loss来衡量。 2.Con
【自监督学习】对比学习（Contrastive Learning）介绍
Roaddd的博客
03-15 1万+
我们知道，标注数据总是有限的，就算ImageNet已经很大，但是很难更大，那么它的天花板就摆在那，就是有限的数据总量。NLP领域目前的经验应该是：自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明的真理，如果它不是唯一的真理，那也肯定是最大的真理。
对比学习（contrastive Learning）
mddCSDN的博客
11-02 446
自监督学习又可以分为对比学习(contrastive learning)和生成学习(generative learning)两条主要的技术路线。比学习的核心思想是将正样本和负样本在特征空间对比，从而学习样本的特征表示，使得样本与正样本的特征表示尽可能接近。正样本和负样本是使用代理任务(pretext task)来定义的． 代理任务定义了样本之间的相似性，给定一个样本，与之相似的样本就是正样本，而不相似的样本就是负样本．。
对比学习的思想
weixin_46021869的博客
09-27 569
参考：https://blog.csdn.net/weixin_41803874/article/details/107692319 生成方法 vs 对比方法 当代的自监督学习方法大致可以分为两类： 对比学习思想 对比方法如何工作？ 即，最终目标是，缩小与正样本间的距离，扩大与负样本间的距离，使正样本与锚点的距离远远小于负样本与锚点的距离，（或使正样本与锚点的相似度远远大于负样本与锚点的相似度），从而达到他们间原有空间分布的真实距离。 更正式地说，对于任何数据点x，对比方法的目的是学习编码器f： •
对比学习(Contrastive Learning)
HsinglukLiu的博客
03-10 724
文章目录Understanding Contrastive Learning Understanding Contrastive Learning https://towardsdatascience.com/understanding-contrastive-learning-d5b19fd96607
对比学习（Contrastive Learning）
Iawfy22的博客
09-02 1310
记录了对比学习（Contrastive Learning）学习笔记
对比学习（contrastive learning）
热门推荐
cziun的博客
07-28 10万+
什么是自监督学习？ 举个通俗的例子：即使不记得物体究竟是什么样子，我们也可以在野外识别物体。 我们通过记住高阶特征并忽略微观层面的细节来做到这一点。那么，现在的问题是，我们能否构建不关注像素级细节，只编码足以区分不同对象的高阶特征的表示学习算法？通过对比学习，研究人员正试图解决这个问题。 什么是对比学习？ 对比学习是一种自监督学习方法，用于在没有标签的情况下，通过让模型学习哪些数据点相似或不同来学习数据集的一般特征。 让我们从一个简单的例子开始。想象一下，你是一个试图理解世界的新生婴儿。在家里，假设你有两只
Contrastive Learning——对比学习
THE_CS_UNIVERSE的博客
01-06 369
1.定义 对比式学习着重于学习同类实例之间的共同特征，区分非同类实例之间的不同之处。 与生成式学习比较，对比式学习不需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即可，因此模型以及其优化变得更加简单，且泛化能力更强。 对比学习的目标是学习一个编码器，此编码器对同类数据进行相似的编码，并使不同类的数据的编码结果尽可能的不同。 2.基本思想 缩小正样本的距离，扩大与负样本之间的距离 ...
对比学习 Contrastive Learning
hxxjxw的博客
05-24 397
对比学习属于无监督学习 对比式学习着重于学习同类实例之间的共同特征，区分非同类实例之间的不同之处。 与生成式学习比较，对比式学习不需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即可，因此模型以及其优化变得更加简单，且泛化能力更强。 ...
比较学习
lph2017的博客
03-14 272
为啥不会重复
# Contrastive Learning（对比学习）--CLIP笔记（一）
ziggybowie的博客
04-12 2316
CLIP是一种多模态预训练模型，由OpenAI在2021年提出，论文标题：Learning Transferable Visual Models From Natural Language Supervision （[论文有四十多页，作者做了超级多的实验，看李沐老师和朱老师的视频讲解也算是一次知识蒸馏（[by Hinton）了通过大量的图像-文本对进行训练，CLIP的核心思想是通过对比学习来训练模型。它将图像与文本配对，并尝试将它们映射到相同的特征空间中。
Contrastive Learning
07-28
- *1* *2* [对比学习（contrastive learning）](https://blog.csdn.net/cziun/article/details/119118768)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yang_daxia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值