【MoCo】《Momentum Contrast for Unsupervised Visual Representation Learning》

已于 2023-07-06 15:13:50 修改
阅读量1.3k 收藏 13
点赞数 3
分类专栏： CNN / Transformer 文章标签： MoCo
于 2019-12-05 17:53:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryant_meng/article/details/103409225
版权

文章目录

MoCo

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

PPT 下载链接：https://download.csdn.net/download/bryant_meng/12015364

下载积分好像不能自己设定耶，感兴趣的可以评论私聊

附录

摘抄学习来自：一文详解图像中的无监督学习

无监督学习的概念其实很早就有了，从最初的auto-encoder，到对图像进行不同的预处理然后进行预测的无监督学习（比如旋转后预测旋转角度、mask一部分进行复原），以及到如今对比学习（simclr、moco）、特征重构（byol，simsiam）、像素重构MAE、甚至low-level的无监督预训练（IPT），可以说图像的无监督学习获得了长足的发展，而且无监督的效果已经在逐步逼近有监督的效果。

对比学习

在这里插入图片描述

在这里插入图片描述

特征重构

在这里插入图片描述

特征重构

在这里插入图片描述

像素重构

《Masked Autoencoders Are Scalable Vision Learners》（CVPR-2022）

MAE，在 ViT 的基础上做的
在这里插入图片描述
被 mask 的 patch，并不是用 0 填充，而是直接忽略，patch 数量的减少，直接降低计算

在这里插入图片描述

bryant_meng
关注
专栏目录
VideoMoCo Contrastive Video Representation Learning With.pdf
11-20
VideoMoCo是针对无监督视频表示学习的一种新方法，它基于MoCo（Momentum Contrast）的图像表示学习框架，并对其进行了扩展以增强时间维度上的特征表示。MoCo是一种对比学习的方法，通过构建一个动态的内存队列和动量...
Momentum Contrast for Unsupervised Visual Representation Learning无监督胜有监督，刷新检测分割任务
热门推荐
Mr.Ma-master
11-19 1万+
论文下载地址： https://arxiv.xilesou.top/abs/1911.05722 摘要 本文提出动量对比度（MoCo）用于无监督的视觉表示学习。 从作为字典查找的对比学习的角度来看，我们构建了一个带有队列和移动平均编码器的动态字典。 这样就可以实时构建大型且一致的词典，从而促进对比性的无监督学习。MoCo在ImageNet分类的通用线性协议下提供了竞争性的结果。 更重要的是，Mo...
论文解读：(MoCo)Momentum Contrast for Unsupervised Visual Representation Learning
weixin_50917576的博客
04-16 1428
提出动量对比(MoCo)用于无监督视觉表征学习。从对比学习[29]作为字典查找的角度出发，我们构建了一个带有队列和移动平均编码器的动态字典。这使得建立一个大的和一致的字典，方便对比无监督学习。MoCo在ImageNet分类的通用线性协议下提供了具有竞争力的结果。更重要的是，MoCo学习到的表征可以很好地转移到下游任务中。在PASCAL VOC、COCO和其他数据集上，MoCo在7个检测/分割任务上的表现优于有监督的预训练对手，有时甚至远远超过它。
MoCo论文详解
最新发布
m0_64148253的博客
08-01 1395
MoCo是Facebook团队在2020年提出的一篇论文，论文全称是《Momentum Contrast for Unsupervised Visual Representation Learning》通过动量对比进行无监督的视觉表征学习，MoCo就是Momentum Contrast的缩写。MoCo通过使用对比学习的无监督方法在大规模数据集上进行预训练，然后在下游任务上进行迁移，其在下游任务上的表现在分割/检测等7个任务上优于现有的有监督的预训练方法，在视觉领域有监督方法和无监督方法之间的差距被大大减小。
MoCo论文：Momentum Contrast for Unsupervised Visual Representation Learning
flyingluohaipeng的博客
12-29 2854
本文提出了MoCo去做无监督的表征学习，虽然是基于对比学习的，但是本文是从另外一个角度来看对比学习，也就是说把对比学习看作是一个字典查询的任务。第一个部分是一个队列，因为队列中的样本不需要做梯度回传，所以就可以往队列中放很多负样本，从而使得这个字典变得很大第二个部分是一个移动平均的编码器，使用这个移动平均的编码器的目的是想让字典中的特征尽量的保持一致。作者发现在训练的过程中，如果能有一个很大而且比较一致的字典，会对无监督的对比学习非常有好处。
MoCO ——Momentum Contrast for Unsupervised Visual Representation Learning
qq_34845880的博客
05-23 2542
Title: Momentum Contrast for Unsupervised Visual Representation Learning 作者：Kaiming He Haoqi Fan Yuxin Wu Saining Xie Ross Girshick 发表单位：Facebook AI Research(FAIR) 关键词：clip、多模态 论文：https://arxiv.org/pdf/1911.05722 代码：https://github.com/facebookresearch
Moco -Momentum Contrast for Unsupervised Visual Representation Learning
小菜鸡
06-08 336
首先这是一篇来自2020年cvpr的一篇文章，MoCo: CVPR 2020 最佳论文，完成了视觉 + 对比学习的里程碑式的工作。填补了 CV 领域的无监督学习和有监督学习的 gap 。 作者是何凯明，来自FaceBookAi研究所。 这篇文章主要是提出来了简单又有效地方法去创建一个又大又可以在训练过程中保持一致的字典 其中字典使用了队列的数据结构，其次动量更新编码器。如上图所示，有三张图片，图1、2为同一个人不同的表情的照片，图3为dog，在训练时不会为这三种图片去标注。将三种图片输入到模型中，模型会得到
moco:MoCo的PyTorch实施
03-20
@Article{he2019moco, author = {Kaiming He and Haoqi Fan and Yuxin Wu and Saining Xie and Ross Girshick}, title = {Momentum Contrast for Unsupervised Visual Representation Learning}, journal = {arXiv ...
a pytorch implementation for MoCo V3
07-10
a pytorch implementation for MoCo V3
Unsupervised-Classification:扫描
03-20
学习对不带标签的图像进行分类此回购包含我们论文的Pytorch实现： ， ， ，Marc Proesmans和Luc Van Gool。在ECCV 2020（ ）上接受。在上Yannic Kilcher对我们论文的解释。 :trophy: SOTA有4个基准。...
scan_unsupervised:扫描+ MOCO无监督学习
03-15
学习对不带标签的图像进行分类 此回购包含我们论文的Pytorch实现： ， ， ，Marc Proesmans和Luc Van Gool。 在ECCV 2020（ ）上接受。 在上Yannic Kilcher对我们论文的解释。 :trophy: SOTA有4个基准。...
MoCO(Momentum Contrast)
m0_57567093的博客
10-19 1042
MoCo作为 contrastive learning 的里程碑工作，通过 queue 结构和 momentum update 的方式改进了传统方法，获得了巨大的飞跃
MOCO----Momentum Contrast
weixin_43845922的博客
11-15 816
moco
自监督学习-对比学习-MoCo Momentum Contrast 阅读笔记
weixin_43656644的博客
07-21 2830
MOCO用于无监督表征学习。我们从另外一个角度来理解对比学习，即从一个字典查询的角度来理解对比学习。moco中建立一个动态的字典，这个字典由两个部分组成一个队列queue和一个移动平均的编码器moving-averagedencoder。这两个东西造就了一个更大的和更一致consistent的字典，对无监督的对比学习有很大的帮助。(队列中的样本不需要做梯度反传，因此可以在队列中存储很多负样本，从而使这个字典可以变得很大。......
MoCo: Momentum Contrast for Unsupervised Visual Representation Learning
连理o的博客
02-13 1194
目录IntroductionReferences Introduction Contrastive learning 对比学习的目的是让模型学习哪些样本是相似的，哪些样本是不相似的。模型不需要知道样本所属的类别，只需要知道样本之间是否相似就可以了。也就是说，假如现在有三张图片 x1,x2,x3x_1,x_2,x_3x1​,x2​,x3​，其中 x1,x2x_1,x_2x1​,x2​ 是相似的，x3x_3x3​ 与 x1,x2x_1,x_2x1​,x2​ 是不相似的。三张图片在经过编码器编码后得到三个特征
重读经典：《Momentum Contrast for Unsupervised Visual Representation Learning》
10点43的博客
12-18 5772
MoCo 论文逐段精读【论文精读】 这次论文精读李沐博士继续邀请了亚马逊计算机视觉专家朱毅博士来精读 Momentum Contrast（Moco)， 强烈推荐大家去看本次的论文精读视频。朱毅博士讲解的很详细，几乎是逐词逐句地讲解，在讲解时把 ViT 相关领域的研究也都介绍了，听完之后收获满满。 ViT 应该是过去一年计算机视觉领域影响力最大的一个工作。ViT 挑战了卷积神经网络在计算机...
Momentum Contrast for Unsupervised Visual Representation Learning
Sundrops的专栏
11-18 4855
Motivation 已有的利用contrastive learning做unsupervised visual representation learning要么受限于GPU不能使用大batch，要么不能保证query和key一致 因此本文提出了Momentum Contrast (MoCo)，利用队列和moving-averaged encoder构建一个动态字典 Review Unsuper...
Mock工具之Moco使用教程
程序员小杨哥的博客
08-01 3146
在开发过程中，经常会使用到一些http网络接口，而这部分功能通常是由第三方开发团队或者是后端同事进行开发的，在我们开发时不能给我们提供服务，这为我们的联调和测试造成了麻烦，这个时候就需要使用到mock测试。 Moco是一个简单搭建模拟服务器的程序库/工具：Moco会根据一些配置，启动一个真正的HTTP服务（会监听本地的某个端口）。当发起请求满足一个条件时，它就给回复一个应答。......
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值