论文阅读 （一）对比学习系列 MoCo and 从InsDisc到 SimSiam DINO

最新推荐文章于 2024-12-28 20:45:53 发布
最新推荐文章于 2024-12-28 20:45:53 发布
阅读量781 收藏 6
点赞数 2
分类专栏： 7. 论文阅读 文章标签： 无监督学习 对比学习 CNN MoCo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rayso9898/article/details/122289327
版权

花了一个下午，看了b站沐神账号的两个视频，对对比学习也算是有了初步的了解了。

论文链接：
https://github.com/mli/paper-reading/

感觉kaiming大神还是强，从moco 到 simsiam，化繁为简，一切以简单有效为基准，从最初接触resnet到MAE,到今天看的对比学习的几个工作，风格好鲜明呀，最容易follow，less is more。

BYOL的作者也是刚，为了回复一篇BN在BYOL作用的博客，专门写了一篇论文回复质疑。

总结下来，对比学习的研究热度这两年兴起，随着ViT在CV界的火爆，对比学习热度逐渐下降，大都转向了Transformer了，尤其MAE的出现，transformer的研究热度更高，对比学习的研究进入了发展潜伏期。
transformer的多模态学习，看来也要接着学习起来了，期待对比学习在多模态学习领域的进一步融合发展呀！！！

一个下午简略过了一遍对比学习的发展史，元旦的最后一天假期，还是有点意义的。

下周开始接实验室项目收尾，然后开始攻克小论文专利。

对比学习讲解视频：
MoCo
在这里插入图片描述

video:
https://www.bilibili.com/video/BV1C3411s7t9?spm_id_from=333.999.0.0
专栏
https://www.bilibili.com/read/cv14463867?from=note

对比学习串烧
video:
https://www.bilibili.com/video/BV19S4y1M7hm?spm_id_from=333.999.0.0
总结笔记：
https://zhuanlan.zhihu.com/p/452087382

在这里插入图片描述在这里插入图片描述

在这里插入图片描述
对比学习的应用和进一步学习：
https://blog.csdn.net/qq_39388410/article/details/113995410?spm=1001.2014.3001.5501

有时间再接着看，先屯着。

机器学习之对比学习方法SimSiam（Simple Siamese）
JustinMars的博客
06-25 543
SimSiam（Simple Siamese Representation Learning）是一种自监督学习方法，由Facebook AI Research提出。SimSiam通过简化对比学习的设计，不需要负样本对、复杂的内存队列或特殊的数据增强方法，取得了在自监督学习任务上的优异表现。
DINOv2：无监督学习强大的视觉特征
最新发布
qq_57793109的博客
03-10 740
第一主成分（First Principal Component）是主成分分析（PCA）中的一个概念，PCA是一种常用于降维的技术，它通过将数据投影到一组新的、无关的轴上来减少数据的维度。这些新轴称为“主成分”，它们按照方差的大小排序，第一个主成分对应数据中方差最大的一条方向，也就是数据变异性最大的一条轴。PCA在图像处理中的作用是从图像的不同区域（块）中提取出最具代表性、信息量最大的特征，用于后续的图像分析或匹配。通过这些主成分，可以在变化了姿势、风格或者物体的图像中找到相同的部分，并去除背景的干扰。
DINO学习
qq_33031419的博客
09-24 226
这篇文章主要是借鉴最近在自然语言处理方面的一些技术和进展，如语言模型的预训练，可以使计算机可以更好地理解语言。这样的模型可以生成一些通用的视觉特征，也就是说，这些特征适用于不同的图像分布和不同的任务，无需进行进一步的微调即可使用。DINO 的核心思想便是通过在大规模的无标签数据集上进行对比学习，学习出一组具有可传递性的视觉特征表示。在 DINO 中，作者通过引入一个新的对比学习方法，将原始图像的特征与随机裁剪的图像的特征进行对比，从而学习到更好的视觉通用表征，最终也获得了非常出色的效果。
对比学习（Contrastive Learning）【MoCo，SimCLR，BYOL，SimSiam，SimCS】
u013250861的博客
01-29 1021
参考资料： Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam，SimCSE）
对比学习系列（五）---SimSiam
陶将的博客
03-24 1万+
孪生网络已经成为无监督视觉表征学习的一种常见结构。孪生网络最大化一个图像的两个增广之间的相似性。论文提出了一个简单的孪生网络（SimSiam）在**不需要负样本对、大的批次和动量编码**的情况下学习表征。
DINO代码学习笔记（一）
athrunsunny的博客
06-04 7861
先上官方架构图：DINO通过使用对比式的去噪训练、混合查询选择方法进行锚点初始化以及look forward twice方案进行边界框预测，从而在性能和效率上改进了先前的DETR-like模型。
【对比学习串烧】 SimSiam & MoCov3 & DINO
QuantumYou的博客
09-22 1414
论文报告了令人惊讶的实验结果，即使不使用负样本对、大批量或动量编码器，简单的孪生网络也能学习到有意义的表示。SimSiam方法在ImageNet和下游任务上取得了有竞争力的结果。重点内容：论文展示了即使不使用负样本对，孪生网络也能有效地学习，这挑战了对比学习中负样本对的必要性。SimSiam在标准批量大小下也能工作，这与需要大批量训练的模型（如SimCLR）不同。论文发现，与BYOL等模型不同，SimSiam不需要动量编码器来防止输出塌陷。
对比学习论文阅读 MOCO Momentum Contrast for Unsupervised Visual Representation Learning
qq_45738761的博客
04-24 2041
以此满足字典要尽可能大的要求。第二次迭代与第一次相同，唯一不同的是，此时队列里已经有了key0，就可以计算logits_neg，总的logits（NX(1+K)）就是将logits_neg和logits_pos拼接，接着计算loss，更新编码器q的参数，直到所有的负样本特征输出完全入队列，这里的队列大小为65536，因为batchsize设置为256，所以要迭代65536/256=256次才能将队列占满。是当前时刻的输入，实质就是不想当前时刻的输出完全依赖于当前时刻的输入，也希望继承之前的输出的信息。
盘点近期大热对比学习模型：MoCo/SimCLR/BYOL/SimSiam
Paper weekly
02-22 3463
©PaperWeekly 原创 ·作者｜上杉翔二单位｜悠闲会研究方向｜信息检索很多大佬认为，深度学习的本质就是做两件事情：Representation Learning（表示学习）和 I...
Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam，SimCSE）
nakaizura
10-06 1万+
很多大佬认为，深度学习的本质就是做两件事情：Representation Learning（表示学习）和 Inductive Bias Learning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学习站台，自监督是未来！ 自监督学习有大类方法，一个是生成方法一个对比方法，如上图。生成方法往往会对像素级损失进行约束，而对比学习在表示学习上做的事情就是，其实模型不必要知道关于.
对比学习论文阅读 SimSiam Exploring Simple Siamese Representation Learning
qq_45738761的博客
04-24 337
论文发现孪生网路可以在1没有负样本2没有大批量3没有动量编码器 （只通过禁止梯度回传）的情况下学习到特征表示。文章中最重要的概念是Stop-gradient梯度停止/禁止梯度回传。层：BN有助于训练优化，这与监督学习中BN的作用类似；损失函数：SimSiam的有效性不依赖于对称损失，只是论文设计的对称损失函数更加有效。去除sg，果然崩溃导致了退化解，后续作者还用实验证明退化解是“崩溃”导致的。，总损失是所有图像损失的平均，故最小的可能损失为-1。预测头：移除，则崩溃。---称为对称损失。
对比学习 ——simsiam 代码解析。
xuhss_com的博客
04-15 2883
Python微信订餐小程序课程视频 https://blog.csdn.net/m0_56069948/article/details/122285951 Python实战量化交易理财系统 https://blog.csdn.net/m0_56069948/article/details/122285941 ​ 目录 1 ： 事先准备 。 2 ： 代码阅读。 2.1: 数据读取 2.2： 模型载入 3 训练过程： 4 测试过程： 5 ：线性验证 6 ： 用自己数据集进行对比学习。 第一：&nbsp
对比学习论文综述
连理o的博客
02-26 5749
目录第一阶段：百花齐放InstDisc (Instance Discrimination)InvaSpread (Invariant and Spreading Instance Feature)References 第一阶段：百花齐放 InstDisc (Instance Discrimination) paper: Unsupervised Feature Learning via Non-Parametric Instance Discrimination Motivation 作者提出的 I
对比模型之 SimSiam
weixin_39393430的博客
12-15 2012
小白的我又在看对比学习，里面有太多的东西不懂了。。。比如collapse到底是啥意思？对比损失函数里负样本在实际训练过程中的作用是什么？为什么去掉负样本也可行，为什么。。。。 今天看了一篇推文，作者是安迪的写作时间安迪的写作时间安迪的写作时间，其文章介绍了SimSiam，也比较了其与simCLR, MoCo，BYOL等的异同。文章链接在此： 探索孪生神经网络：请停止你的梯度传递！ 看完之后决定去撸撸paper和code！ 勉励自己： 遇到问题，解决问题。 ...
MoCo、SimCLR、BYOL、SwAV、iBot、DiNoV2、MAE、Beit、SimMIM、MaskFeat对比学习总结
taoqick的专栏
03-17 4127
MoCo V1（Momentum Contrast for Unsupervised Visual Representation Learning） MoCo的想法主要是在之前end-to-end和memory bank基础上产生的。q表示query，也就是对比的left；k表示key，也就是对比的right，k中既包含和q相似的样本（可能会标记为k+），也包含也q不相似的样本 关于end-to-end方式（The end-to-end update by back-propagation is a
对比学习-SimSiam-论文精读&解析
小白不白
12-04 2391
模型坍塌，在siamese中主要是输入数据经过卷积激活后收敛到同一个常数上，导致无论输入什么图像，输出结果都能相同。而He提出的simple Siamese networks在没有采用之前的避免模型坍塌那些方法：实验表明对于损失和结构确实存在坍塌解，但stop-gradient操作在防止坍塌方面起着至关重要的作用。如图为simsiam 的结构，输入是训练集中随机选取的一个图像，使用随机数据增强生成两个图像；左右两个encoder是完全一样的，包含卷积和全连接，将图像进行编码（特征提取）；perdictor
《DINO: 基于改进去噪锚框的端到端目标检测模型》学习笔记
学无止境。
12-28 1249
我们提出了DINO（DETR with Improved deNoising anchOr boxes），这是一种最先进的端到端目标检测器。（1）对比学习方法的去噪训练；通过对比学习的方式降低训练过程中的噪声干扰，提升了模型的鲁棒性和准确性。去噪训练可能涉及到对负样本的区分和增强。（2）用于锚点初始化的混合查询选择方法；为锚点（Anchor Boxes）的初始化设计了一种混合策略，可能结合了动态和静态查询机制以优化检测精度。（3）用于框预测的两次前瞻（look forward twice）策略。
【解析】介绍simclr、moco、simsiam、BYOL的联系和区别
像初雪一样自由洒落
07-28 2410
SimCLR, MoCo, SimSiam 和 BYOL 都是无监督学习中的对比学习算法，具体来说，它们是自监督学习（SSL）的一部分，这是一种使用未标记数据进行训练的方法。所有这些算法都以某种方式利用正负样本对进行训练，并学习从原始数据中提取有用特征的方式。然而，每种方法都有其独特的方式来创建和使用这些样本对。
李沐论文精读系列三：MoCo、对比学习综述（MoCov1/v2/v3、SimCLR v1/v2、DINO等）
热门推荐
qq_56591814的博客
11-03 3万+
详细介绍了MoCov1模型，以及14种对比学习方法：Inst Disc、Inva Spread、CMC、CPC、MoCov1/v2/v3、SimCLR v1/v2、SwAV、BYOL、SimSiam、DINO
一文梳理无监督对比学习（MoCo/SimCLR/SwAV/BYOL/SimSiam）
07-29
无监督对比学习是一种用于训练深度神经网络的自监督学习方法，它在没有标签的大规模未标记数据上进行训练。该方法通过使模型学习将相似样本聚集在一起，将不相似样本分开来，从而学习到有用的特征表示。 以下是几种常见的无监督对比学习方法： 1. MoCo（Momentum Contrast）：MoCo是一种基于对比学习的方法，它使用了动量更新策略来增强对比学习的性能。它通过构建一个动态的字典来扩展正样本的数量，并使用动量更新策略来提高特征的一致性。 2. SimCLR（Simple Contrastive Learning）：SimCLR是一种简单而有效的对比学习方法，它通过最大化正样本间的相似性并最小化负样本间的相似性来进行训练。SimCLR使用了数据增强和大批量训练等技术来提高性能。 3. SwAV（Swapping Assignments between Views）：SwAV是一种基于视图交换的对比学习方法，它通过交换不同视图下的样本分配来增强对比学习过程。SwAV还使用了聚类损失来进一步优化特征表示。 4. BYOL（Bootstrap Your Own Latent）：BYOL是一种基于自举的对比学习方法，它通过预测一个网络的自我编码器输出来进行训练。BYOL使用了移动平均权重和在线网络更新等技术来提高性能。 5. SimSiam（Simplified Siamese）：SimSiam是一种简化的孪生网络对比学习方法，它通过最大化网络预测的一致性来进行训练。相比于传统的对比学习方法，SimSiam省略了负样本的构造过程，简化了训练过程。 这些无监督对比学习方法在图像和自然语言处理等领域都取得了很好的效果，并且被广泛应用于预训练模型的训练中。每种方法都有其独特的特点和优势，可以根据具体任务和数据集选择适合的方法进行使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ray Song

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值