论文笔记2:Supervised Contrastive Learning｜图2的区别

已于 2024-10-03 22:23:37 修改
阅读量55 收藏
点赞数 2
文章标签： 论文阅读 人工智能
于 2024-10-03 22:23:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45891757/article/details/142697137
版权

论文中的图2区别在哪里呢？

区别如下图文字：

        

slomay
关注
【论文阅读笔记】Supervised Contrastive Learning
qq_44653420的博客
11-18 1027
【论文阅读笔记】Supervised Contrastive Learning
论文笔记--SimCSE: Simple Contrastive Learning of Sentence Embeddings
weixin_38124427的博客
06-10 947
通过dropout进行对比学习：SimCSE最全公式推导
【论文阅读笔记】TimesURL: Self-supervised Contrastive Learning for Universal Time Series
qq_44653420的博客
01-25 1368
【论文阅读笔记】TimesURL: Self-supervised Contrastive Learning for Universal Time Series
论文笔记-Weakly Supervised Contrastive Learning for Chest X-Ray Report eneration
xxxx_HeXi的博客
06-07 746
Weakly Supervised Contrastive Learning for Chest X-Ray Report eneration
论文笔记：Dense Contrastive Learning for Self-Supervised Visual Pre-Training
Jesse_08的博客
12-13 2982
论文笔记：Dense Contrastive Learning for Self-Supervised Visual Pre-Training ABSTRACT: 背景：主流的自监督模型都被设计和优化image classification。 但是预训练模型用于预测dense predication task的优化做的不太好，这是由于在image level和piexl level的prediction存在着差异。 dense prediction tasks：predicting a label for
Self-Supervised Contrastive Learning for Medical Time Series: A Systematic Review阅读笔记
jjm088的博客
04-09 1684
其基本假设是，在嵌入空间中，正对(即相似的例子)应该彼此靠近，而负对(即不同的例子)应该彼此远离。传统的监督学习无法用如此小的标记数据量进行训练，然而，通过对比学习，我们可以使用10,000个未标记的样本对编码器进行预训练，然后使用500个标记样本对模型进行微调。试验判别任务的基本假设是，由于试验间的差异，同一试验的两个样本会比不同试验的样本更相似。换句话说，模型在正对(由过去的数据和正确的下一个观察组成)和负对(由过去的数据和不同的下一个观察组成)上进行训练。它训练编码器根据过去的观测来预测未来的观测。
论文笔记：Graph Contrastive Learning Reimagined: Exploring Universality (WWW 2024)
weixin_42706389的博客
06-25 1697
图对比学习；同质图与异质图；基于自我网络（Ego-Network）的子空间划分
Weakly Supervised Contrastive Learning 论文阅读
weixin_44609958的博客
07-25 1482
无监督视觉表示学习因对比学习的最新成就而受到计算机视觉领域的广泛关注。现有的大多数对比学习框架采用实例区分作为预设任务，将每个实例视为一个不同的类。然而，这种方法不可避免地会导致类别冲突问题，从而损害所学习表示的质量。
论文阅读笔记（7-1）---Supervised Contrastive Learning
qq_39594939的博客
06-29 1203
原文链接 B站讲解视频 研究背景 交叉熵损失函数是分类模型监督学习中应用最广泛的损失函数，但是它具有对噪声标签缺乏鲁棒性、边界性差等特点，泛化能力较差。 研究成果 提出了一个新的扩展对比损失函数，对于每一个锚允许有多个正样本，从而适应对比学习的全监督设置。从分析和经验上，我们证明了所提出方法的性能是最优的。 实验结果表明提出的损失函数为许多数据集提供了一致的top1精度提升。它对自然干扰的抵抗力也更强。 我们用解析的方法证明了损失函数的梯度有助于从硬正和硬负中学习。 我们的经验表明，我们的损失是敏感度
Supervised Contrastive Learning论文笔记
reallsp的博客
03-04 602
Supervised Contrastive Learning Motivation 交叉熵损失是监督学习中应用最广泛的损失函数，度量两个分布（标签分布和经验回归分布）之间的KL散度，但是也存在对于有噪声的标签缺乏鲁棒性、可能存在差裕度（允许有余地的余度）导致泛化性能下降的问题。而大多数替代方案还不能很好地用于像ImageNet这样的大规模数据集。 在对比学习中，核心思想是拉近某一个锚点与其正样本之间的距离，拉远锚点与该锚点其他负样本之间的距离，通常来说，一个锚点只有一个正样本，其他全视为负样本。 Co
Supervised Contrastive Learning：有监督对比学习
热门推荐
weixin_44846680的博客
01-19 1万+
《Supervised Contrastive Learning》论文阅读笔记
论文笔记（五） C-MIL: Continuation Multiple Instance Learning for Weakly Supervised Object Detection
lzr_ps的博客
12-27 2780
论文笔记（五） C-MIL: Continuation Multiple Instance Learning for Weakly Supervised Object Detection 这是cvpr2019的oral，还是一篇基于弱监督的目标检测论文。 关于弱监督目标检测的定义在上一篇笔记中已经讲过了 传送门 。与上一篇论文中要缓解的问题一样，即弱监督的损失局部极小问题，但是这篇论文的处理方法更...
自监督论文阅读笔记DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive
YoooooL_的博客
07-04 660
“DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning” 本文特点：轻量级模型 摘要： 虽然自监督表示学习(Self-Supervised representation Learning, SSL)受到了社区的广泛关注，但最近的研究认为，当模型规模减小时，其性能会出现断崖式下降。由于目前的SSL方法主要依赖于 对比学习 来训
类感知对比半监督学习(Class-Aware Contrastive Semi-Supervised Learning)论文阅读笔记
Remoa的休闲茶馆
05-31 6123
1 研究背景； 2 关键卖点； 3 主要架构； 4 损失函数； 4.1自监督对比学习损失； 4.2 有监督对比学习损失； 5 模型性能； 参考文献；
[论文笔记]SGPT: GPT Sentence Embeddings for Semantic Search
日积月累，天道酬勤
10-03 1028
⭐ 作者提出了利用仅编码器的类GPT架构来产生句子嵌入以支持语义检索和其他嵌入任务。在Bi-Encoder设置中，使用位置加权平均池化来得到具有语义信息的句子嵌入。在Cross-Encoder设置中，提取预训练GPT模型的对数概率产生无监督结果。
【论文笔记】DKTNet: Dual-Key Transformer Network for small object detection
Word_And_Me_的博客
10-04 679
RoI池化层将来自RPN的候选区域进一步处理，用于分类和边界框回归。
论文笔记：Anytime Continual Learning for Open Vocabulary Classification
weixin_47505105的博客
10-01 414
在开放词汇表图像分类中，随着时间的推移，模型需要不断学习新的标签，同时保留对旧标签的记忆。
GS-SLAM论文阅读笔记-MGSO
最新发布
qq_45795134的博客
10-04 484
然而，现有的基于3dgs的SLAM系统难以平衡硬件简洁性、速度和地图质量。大多数系统在上述的一个或两个方面表现出色，但很少能做到全部。一个关键问题是在同时进行SLAM时初始化高斯的困难。传统上，SLAM系统提供语义差的地图表示，对定位和基本导航有效，但缺乏复杂任务所需的细节。解耦的稠密地图SLAM一个关键挑战是SLAM和密集重建组件之间缺乏协同作用。SLAM算法往往不能为高质量的密集重建提供最优数据，从而影响系统的整体性能。
contrastive self-supervised learning pdf
09-07
对比式自监督学习是一种无监督学习的方法，旨在通过通过训练模型来学习数据的表示。这种方法在计算机视觉领域中得到了广泛的应用。 对比式自监督学习的核心思想是通过将数据例子与其在时间或空间上的某种变形或扭曲版本对比，来训练模型。这种对比鼓励模型捕捉到数据的关键特征，从而学习到更好的表示。 对比式自监督学习的一个常见应用是图像的自学习。通过将图像进行旋转、剪切、缩放等变形，来构建一个正样本（原始图像）和负样本（变形图像）对。然后将这些对输入到一个深度神经网络中进行训练，以学习图像表示。训练过程中，网络被要求将正样本和负样本区分开，从而学习到图像的特征。 对比式自监督学习有许多优点。首先，它不需要标注数据，使其适用于大规模的无标签数据。其次，由于数据自动生成，可以轻松地扩展到大数据集。另外，对比式自监督学习的模型可以用于其他任务的迁移学习，使得模型更通用。 然而，对比式自监督学习也存在一些挑战和限制。首先，生成变形样本的过程可能会降低数据的质量，从而降低学习效果。其次，选择合适的变形方式和参数也是一个挑战。另外，对于某些领域和任务，对比式自监督学习可能不适用或效果不佳。 总之，对比式自监督学习是一种有效的无监督学习方法，可用于数据表示学习。它在计算机视觉领域有着广泛的应用，并具有许多优点。然而，仍然需要进一步的研究和发展来克服其中的挑战和限制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值