[MOCO v2] Improved Baselines with Momentum Contrastive Learning

于 2024-08-28 18:55:23 发布
阅读量162 收藏
点赞数 1
分类专栏： paper阅读笔记 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_30618203/article/details/141647225
版权

1、目的

        结合SimCLR和MoCo，实现SoTA

2、方法

                ​​​​​​​        ​​​​​​​        

        将SimCLR的两点设计融入MoCo中：

        1）MLP projection head

                2-layer, hidden layer 2048-d, with ReLU

        2）more data augmentation

                + blur augmentation

3、优点

        用queue存储negative keys，无需大batch size

emergency_rose
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
自监督论文阅读笔记： MoCoV2 使用动量对比学习改进基线 Improved Baselines with Momentum Contrastive Learning
YoooooL_的博客
06-14 711
在本文中，通过在MoCo框架中实现SimCLR的两个设计改进来验证其有效性。通过对MoCo的简单修改——即 使用MLP投影头和更多的数据增强——我们建立了比SimCLR性能更好的更强的基线，并且不需要大规模的批量训练。 引言： 我们报告了SimCLR中使用的两个设计改进，即 MLP投影头 和 更强的数据增强，与MoCo和SimCLR框架正交，当与MoCo一起使用时，它们会带来更好的图像分类和目标检测迁移学习结果。此外，MoCo框架可以处理大量的负样本，而不需要大量的训练批次(图1
Improved Baselines with Momentum Contrastive Learning
qq_43369776的博客
09-28 693
MoCoV2
论文阅读：CVPR2020 | MOCOV2:Improved Baselines with Momentum Contrastive Learning
qq_17614495的博客
04-19 1655
文章目录前言一、Introduction二、Improved designs总结 前言 对比无监督学习最近显示出令人鼓舞的进展，例如在动量对比(MoCo)和SimCLR方面。在本文中，我们将通过在MoCo框架中实现SimCLR的两个设计改进来验证它们的有效性。通过对MoCo进行简单的修改-即使用MLP投影头和更多的数据增强-我们建立了更强大的基线，其表现优于SimCLR，并且不需要大量的训练批次 一、Introduction 最近关于图像的无监督表征学习的研究都集中在一个中心概念上，称为对比学习。结果是令
Improved Baselines with Momentum Contrastive Learning 论文学习
calvinpaean的博客
09-25 222
最近的非监督表征学习关注在对比学习上。在检测和分割任务上，MoCo 的非监督预训练表现优于在 ImageNet 监督预训练的表现；在线性分类表现上，SimCLR 进一步缩小了非监督和监督预训练的差距。
深度学习(自监督:MoCo v2)——Improved Baselines with Momentum Contrastive Learning
菜到怀疑人生的博客
06-13 1081
文章目录前言 前言 这篇文章是何凯明老师团队的文章，作者发现SimCLR一文中提到的trick在MoCo上依然有效。 关于MoCo，可以浏览我的上一篇文章：链接 具体而言 encoder的输出会经过一个线性fc层处理，将fc层替换为SimCLR中的两层MLP（隐藏层为2048维，使用ReLU激活函数）具体性能如下图所示 TTT为InfoNCE中的温度超参数，一个简单的替换操作就可以将性能提升最多6%，确实很让人惊讶。 使用SimCLR中的模糊数据增强，SimCLR中的color distortion数据
无监督对比学习之师夷长技以制夷的MOCO v2《Improved Baselines with Momentum Contrastive Learning》
weixin_42764932的博客
01-18 2175
SimCLR凭借着几个trick和豪气冲天的GPU/TPU把MOCO干趴了 扭头MOCO就用SimCLR的trick干了回去， SimCLR，你在TPU上练的死劲不管用了！ MOCO v1 详见https://blog.csdn.net/weixin_42764932/article/details/112768710 MOCO v2 1. Projection Head 咱也在encoder之后增加了一个非线性映射 ImageNet linear classification accuracy:
【研一小白论文精读】《MoCo》
weixin_46235765的博客
01-17 5175
其实之前读simclr那篇论文的时候已经涉及到一些moco的内容，现在的moco已经更新到了v3。 moco是一种典型的contrastive unsupervised learning。 Momentum Contrast for Unsupervised Visual Representation Learning 在moco提出的时候现有的contrastive learning有两种手段： 第一种是end to end，就是一个sample经过不同的图像增强作为querry和key，放到两个enc
大概是全网最详细的何恺明团队顶作MoCo系列解读...(完结篇)
机器学习社区
01-31 2705
kaiming 的 MoCo让自监督学习成为深度学习热门之一， Yann Lecun也在 AAAI 上讲 Self-Supervised Learning 是未来的大势所趋。本文延续上文详细介绍了 MoCo v2和MoCo v3。 Self-Supervised Learning，又称为自监督学习，我们知道一般机器学习分为有监督学习，无监督学习和强化学习。而 Self-Supervised Learning 是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务 (Downstream
[ 对比学习篇 ] 经典网络模型 —— Contrastive Learning
A_John 的博客
02-20 2295
[ 对比学习篇 ] 经典网络模型 —— Contrastive Learning InstDisc、InvaSpread、CPC、CMC； MoCov1、SimCLRv1、MoCov2、SimCLRv2、SWaV； BYOL、SimSiam； MoCov3、DINO； CLIP；
什么是contrastive learning？
paper_reader的博客
05-10 1万+
阅读更多，欢迎关注公众号：论文收割机（paper_reader） 因为排版问题，很多图片和公式无法直接显示，欢迎关注我们的公众号点击目录来阅读原文。 引言 对比学习最近特别火，为了弄懂这个方向以及需要解决的问题，所以本文将各个领域内比较重要的一些工作拿出来介绍讨论一下。对比学习（Contrastive learning）的主要是与自学习（self-supervised learning）结合起来，从而挖掘数据集本身的一些特性，来帮助模型进行无标签的学习。 计算机视觉 Si...
Parametric Contrastive Learning：长尾问题中的对比学习
saya21的博客
02-28 2333
一、监督学习中的损失函数公式 在监督学习中，上面公式是我们最常见的形式，其中，q为query representation，也就是特征，w_y是fc层的权重，相乘得到logits。 二、长尾中重加权的损失函数公式 以Class-Balanced Loss Based on Effective Number of Samples这篇论文为例，为了解决数据的不平衡问题，通常在传统损失函数前面乘以权重。 三、无监督对比学习MoCo 简单介绍一下这个著名的算法MoCo，即Momentum Contrast。 首先
理解对比表示学习(Contrastive Learning)
热门推荐
xxxxxxxxxx13的博客
12-12 2万+
目录一、前言二、对比学习三、主要论文（附代码分析）1.MOCO ([Kaiming He](https://ieeexplore.ieee.org/document/9157636) *et al.* 2020)2. SIMCLR ([Geoffrey Hinton](https://arxiv.org/pdf/2002.05709.pdf) *et al* 2020)3. AMDIM ([Bachman](https://arxiv.org/pdf/1906.00910.pdf) *et al.* 201
WHAT SHOULD NOT BE CONTRASTIVE IN CONTRASTIVE LEARNING
Yore_的博客
03-30 2276
WHAT SHOULD NOT BE CONTRASTIVE IN CONTRASTIVE LEARNING 一、背景介绍： ​ 现在的自监督对比学习方法，大多通过学习对不同的数据增强保持不变，从而学习到一个好的视觉表征。这里就隐含地假设了一组特定地表示不变性，(比如颜色不变性)，但是如果下游任务不满足这种假设条件时，(比如区分黄色轿车和红色轿车)，这种方法可能就会对任务起到反作用。 ​ 对于数据增强来说，我们在网络中引入的每一种增强都是鼓励网络对该种变换保持不变性。 ​ 如上图所示，自监督对比学习
[ConvLSTM] Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting阅读笔记
sinat_30618203的博客
04-12 3277
1、主要创新 相比于FC-LSTM，引入卷积层，1）可以充分利用空间关联，2）能够输出图像序列，3）减少参数冗余 2、网络 1）输入 时空序列，特征数目=P，图像大小=MxN，即 ​​​​​​​​​​​​​​ 2）输出 3）网络设计 i: input ga...
[pix2pix]Image-to-Image Translation with Conditional Adversarial Networks阅读笔记
sinat_30618203的博客
02-17 1636
1、任务 1) image-to-image translation 2) common framework，适用于各种场景 2、网络 (image) conditional GANs (cGANs)：image x + random noise vector z -> y 1) Generator ...
[Stable Diffusion/LDM] High-Resolution Image Synthesis with Latent Diffusion Models
最新发布
sinat_30618203的博客
06-12 1071
DM的train和infer均需大量的时间和显存。
[Instance Normalization] The Missing Ingredient for Fast Stylization
sinat_30618203的博客
07-07 954
instance normalization
Semantic Instance Segmentation with a Discriminative Loss Function
sinat_30618203的博客
04-11 899
1、优点 1）不依赖proposal，避免了detect-and-segment方法的弊端，有利于遮挡物体的检测 2）擅长区分高度相似的物体（不擅长形态各异的物体） 2、方法 1）pixel embedding（语义分割框架） 预测每个pixel处的representation（n维向量），使得同一个instance的向量距离较近，不同instance的向量距离较远 2）后处理（聚类） 3、discriminative loss ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值