S5CL：通过分层对比学习统一全监督、自监督和半监督学习

最新推荐文章于 2024-07-31 14:50:49 发布
最新推荐文章于 2024-07-31 14:50:49 发布
阅读量902 收藏 1
点赞数
分类专栏： 深度学习论文 文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45745941/article/details/130466375
版权

文章目录

S5CL: Unifying Fully-Supervised,Self-supervised, and Semi-supervised Learning Through Hierarchical Contrastive Learning

摘要

  1. 通过引入S5CL将这两个阶段的训练压缩为一个阶段，S5CL是一个用于全监督、自监督和半监督学习的统一框架
  2. 为标记图像、未标记图像和伪标记图像定义了三个对比损失的情况下，S5CL可以学习反映距离关系层次的特征表示：相似的图像和增强嵌入得最近，其次是同一类的不同外观的图像，而来自不同类的图像具有最大的距离
  3. S5CL允许灵活地组合这些损失，以适应不同的场景
    代码地址

本文方法

在这里插入图片描述

损失函数

有监督对比损失SupconLoss：
在这里插入图片描述
zi为带标签的向量
zp为batch中的正例
zn为负例
za文中未找到，猜是增强的数据
Tl用于区别正例和负例
自监督对比损失类似
但是为了使相同类不同样本靠近
在这里插入图片描述
增加了Tu约束
区分阳性样本zi~是同一图像的不同增强版本，而负样本是不同的图像
半监督对比损失
差不多是自监督和自监督的结合，但是需要自监督迭代一段时间后
总损失
在这里插入图片描述
Lp是半监督损失，Lu是自监督损失，Lc是交叉熵损失，Ll是标签损失

结合结构图看

实验结果

在这里插入图片描述
在这里插入图片描述

消融实验

在这里插入图片描述

小杨小杨1
关注
专栏目录
论文笔记：基于对比学习的半监督分类学习方法
weixin_46224126的博客
10-19 2598
论文阅读笔记_CCSSL
关于自监督、半监督、无监督、有监督学习总结（及半监督学习的优缺点？？）
weixin_45325693的博客
07-26 1844
关于自监督、半监督、无监督、有监督学习总结（及半监督学习的优缺点？？）
ClipReID的监督对比损失SupConLoss
最新发布
SisterRu的博客
07-31 383
SupConLoss继承自nn.Module，这是 PyTorch 中所有神经网络模块的基类。在初始化方法__init__中，它接受一个device参数，用来指定运算应该在哪个设备上进行（如CPU或GPU）。是一个标量，用于控制损失计算中的温度参数，影响特征向量之间相似度的缩放。
对比学习(Contrastive Learning) (2)
weixin_47062807的博客
02-09 2397
《Supervised Contrastive Learning》 该工作将原来自监督学习(self-supervised)的对比学习思想扩展到全监督学习(full-supervised)，相比于上一篇SimCLR，SupCon在数据增强，encoder，投影网络的设计上没什么区别，在正样本与负样本的定义上稍有不同：在一个batch中，对于每一个选择的锚样本，与其属于同一类的都认为是正样本，不属于同一类的都认为是负样本。 监督学习的损失函数 Loutsup=∑i∈ILout,isup=∑i∈I−1∣P(i)
对比学习 Contrast Learning
银晗的学习博客
08-27 592
监督对比学习的目标是最大化正样本对（同一类别的样本）的一致性，并最小化负样本对（不同类别的样本）的一致性。监督对比损失通过鼓励正样本对的表示在嵌入空间中更加接近，同时将负样本对的表示推开来实现这一目标。对比损失：Supervised Contrastive Loss（监督对比损失）是一种在监督对比学习中使用的损失函数。它旨在学习既具有区分性又具有对同一类别内变化具有不变性的表示。
监督学习、半监督学习、无监督学习、自监督学习、强化学习和对比学习
云隐雾匿的博客
01-15 1万+
监督学习、半监督学习、无监督学习、自监督学习、强化学习和对比学习
S5PV210学习笔记.pdf
10-04
S5PV210学习笔记.pdf 本学习笔记主要介绍了S5PV210嵌入式系统的学习笔记，涵盖了嵌入式系统的基础知识、ARM架构、Linux系统、bootloader等方面的内容。 一、零碎的前提知识 1.1 IO 与内存统一编址和独立编址 在...
嵌入式学习笔记（一）ARM裸机全集 基于 S5PV210
02-04
嵌入式系统是现代电子设备的核心，特别是在物联网和智能设备领域。ARM（Advanced RISC ...通过学习“嵌入式学习笔记（一）ARM裸机全集 基于 S5PV210”，开发者可以深入了解ARM架构，为实际项目开发打下坚实基础。
S5PV210-Key_中断分层.zip
03-30
通过对这些知识点的理解和应用，开发者可以创建一个高效且可靠的中断处理系统，确保S5PV210平台上的应用程序能够及时响应按键输入，同时保持对其他高优先级中断的快速响应。这样的优化对于提升用户体验和系统整体...
s5pv210嵌入式linux学习笔记.pdf
09-18
在深入了解s5pv210嵌入式Linux学习笔记之前，首先应掌握一系列的预备知识，这涉及到计算机系统结构的基础，包括IO与内存编址的区别、冯诺依曼结构和哈佛结构的特点、CPU与外部存储器接口的差异，以及ARM处理器的基本...
机器学习中正则化项L1和L2的直观理解
热门推荐
小平子的专栏
03-02 42万+
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...
「视觉表示对比学习简单框架」（Geoffrey Hinton新论文）.zip
02-16
近日，深度学习先驱Geoffrey Hinton领衔的Google大脑团队发布了他们在视觉表示对比学习的最新研究成果-SimLCR，建立了新的SOTA视觉ImageNet识别模型，76.5%的top-1准确度，比以前的水平提高了7%，与监督的ResNet-50的性能相当。并有一系列重要的发现。
Pytorch十九种损失函数的使用详解
12-20
损失函数通过torch.nn包实现， 1 基本用法 criterion = LossCriterion() #构造函数有自己的参数 loss = criterion(x, y) #调用标准时也有参数 2 损失函数 2-1 L1范数损失 L1Loss 计算 output 和 target 之差的绝对值。 torch.nn.L1Loss(reduction='mean') 参数： reduction-三个值，none: 不使用约简；mean:返回loss和的平均值； sum:返回loss的和。默认：mean。 2-2 均方误差损失 MSELoss 计算 output 和 target 之差的均
pico:实时物体检测的简约框架（带有预训练的面部检测器）
04-12
基于像素强度比较的对象检测（pico） 该存储库包含用于实时面部检测的代码。 观看演示视频，为以获得更好的主意。 pico框架是标准Viola-Jones方法的修改。 基本思想是在所有合理的位置和比例下，使用级联的二元分类器扫描图像。 如果图像区域成功通过了级联的所有成员，则将其分类为感兴趣的对象。 每个二元分类器由一组决策树组成，在它们的内部节点中具有像素强度比较作为二元测试。 这使检测器能够以很高的速度处理图像区域。 有关详细信息，请参见 。 pico的一些亮点是： 处理速度快； 在检测之前无需进行图像预处理； 无需计算积分图像，图像金字塔，HOG金字塔或任何其他类似的数据结构； 树的内部节点中的所有二进制测试都基于相同的特征类型（VJ框架中不是这种情况）； 该方法可以轻松修改，以快速检测平面内旋转的物体。 可以说， pico的主要局限性还在于它的简单性：当对象类的外
【论文笔记_对比学习_2021】Supervised Contrastive Learning
qq_45128278的博客
07-25 1761
近年来，应用于自我监督表示学习的对比学习再次兴起，导致了深度图像模型的无监督训练中的艺术表现。现代批量对比方法包含或明显优于传统的对比损失，如三元组、最大余量和N对损失。在这项工作中，我们将自我监督的批量对比方法扩展到完全监督的设置，使我们能够有效地利用标签信息。属于同一类的点的聚类在嵌入空间中被拉在一起，同时推开来自不同类的样本的聚类。我们分析了监督对比(SupCon)损失的两种可能版本，确定了损失的最佳表现形式。交叉熵损失是深度分类模型的监督学习中最广泛使用的损失函数。我们的主要贡献总结如下。.....
ECCV2022 论文 Contrastive Deep Supervision
chen_znn的博客
09-28 2718
传统的训练方法只对神经网络的最后一层进行监督，并将误差逐层反向传播，由于梯度在传播过程中可能会消失，这将导致中间层优化起来比较困难。最近，有的方法提出使用深度监督把辅助分类器添加到深度神经网络的中间层，通过使用有监督的任务损失来优化这些辅助分类器。然而，底层的低级特征并不适合分类。为了解决这个问题，这篇文章提出了一种新的训练框架，称为对比深度监督，它通过基于增强的对比学习来监督中间层训练。
一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)
qq_44015059的博客
05-30 5万+
1. 机器学习学习任务 1.1 监督学习 根据输入-输出样本对L={(x1,y1),⋅⋅⋅,(xl,yl)}L=\{(x1,y1),···,(xl,yl)\}L={(x1,y1),⋅⋅⋅,(xl,yl)}学习输入到输出的映射f:X−>Yf:X->Yf:X−>Y,来预测测试样例的输出值。SL包括分类(Classification)和回归(Regression)两类任务，分类中的样例xi∈Rmx_i∈R^mxi​∈Rm(输入空间)，类标签yi∈{c1,c2,⋅⋅⋅,cc}y_i∈\{c_1,c
从自监督到全监督！Google 提出新损失函数SupCon，准确率提升2%！
我爱计算机视觉
06-19 4163
转自新智元来源：Google AI Blog编辑：LRS【导读】监督学习中一个重要的模块就是损失函数了，而最常见的损失函数就是交叉熵了。Google在NIPS2020上提出了一个损...
Supervised Contrastive Learning 论文学习
calvinpaean的博客
06-22 2071
Abstract 在近几年，将对比学习应用在自监督表征学习上越来越受到关注，在深度图像非监督训练任务上取得了 SOTA 的性能。现在的批对比方法大幅度领先传统的对比损失，如 triplet、max-margin 和 N-pairs 损失。本文中作者将自监督批对比方法扩展至全监督任务上，使我们可以充分利用标签信息。在 embedding 空间中，属于同一个类别的点应该拉近，而不同类别的点应该推的远远的。作者分析了两种监督对比损失（SupCon），找到了最佳的损失形式。在 ImageNet 上，基于 ResNe
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小杨小杨1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值