【论文笔记】【CVPR2020】 (MoCo) Momentum Contrast for Unsupervised Visual Representation Learning

已于 2022-03-16 16:20:48 修改
阅读量1.7k 收藏 2
点赞数 2
分类专栏： 对比学习 计算机视觉 深度学习 文章标签： 深度学习 计算机视觉 机器学习 人工智能
于 2022-02-25 16:54:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44866655/article/details/123136308
版权
该博客介绍了MoCo（Momentum Contrast）方法，这是一种用于无监督学习的对比学习框架。MoCo通过使用一个大型的动态字典和动量更新的编码器，解决了对比学习中的关键问题，即保持特征一致性并扩大负样本库。实验表明，MoCo在ImageNet上的线性分类协议下表现出色，并且在多个下游任务中达到甚至超过有监督预训练的效果，填补了无监督和有监督预训练之间的差距。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, Ross Girshick
CVPR2020 Best Paper
Code: https://github.com/facebookresearch/moco

0 Contrast Learning

0.1 Pretext Task

正样本之间拉近，负样本推远

对比学习的优势在于非常灵活，只要能用合适的方法找到正样本和负样本就可以

Instance Discrimination

一张图像 X i X_i Xi​经过两种不同变换得到的图像（ X i 1 {X_i}^1 Xi​1称为anchor和 X i 2 {X_i}^2 Xi​2称为positive），其他图像 X j X_j Xj​（

最低0.47元/天 解锁文章
MOCO： Momentum Contrast for Unsupervised Visual Representation Learning
weixin_56836871的博客
01-16 1725
动机： Unsupervised representation learning is highly successful in natural language processing，but supervised pre-training is still dominant in computer vision. The reason may stem from differences in their respective signal spaces, Language tasks have discr
AI论文精读笔记-Momentum Contrast for Unsupervised Visual Representation Learning(MoCo)
小菜的博客
07-28 794
MoCo论文精读笔记
Momentum Contrast for Unsupervised Visual Representation Learning
weixin_36670529的博客
02-17 1684
安装命令 sudo apt-get install python-imaging Image模块 Image模块是在Python PIL图像处理中常见的模块，对图像进行基础操作的功能基本都包含于此模块内。如open、save、conver、show…等功能。 open类 Image.open(file) ⇒ image Image.open(file, mode) ⇒...
深入解析 InfoNCE Loss：对比学习的基石（是在什么背景下提出来的？）
最新发布
阿正的梦工坊
03-29 725
在《Contrastive Predictive Coding (CPC)》论文中，作者将其用于无监督表示学习，目标是让模型从高维数据中提取有用的表示。简单来说，InfoNCE Loss 的核心思想是：通过对比正样本和一组负样本，训练模型区分“相关”和“不相关”的数据对，从而捕获数据的深层语义信息。
MoCO ——Momentum Contrast for Unsupervised Visual Representation Learning
qq_34845880的博客
05-23 2667
Title: Momentum Contrast for Unsupervised Visual Representation Learning 作者：Kaiming He Haoqi Fan Yuxin Wu Saining Xie Ross Girshick 发表单位：Facebook AI Research(FAIR) 关键词：clip、多模态 论文：https://arxiv.org/pdf/1911.05722 代码：https://github.com/facebookresearch
无监督对比学习论文Momentum Contrast for Unsupervised Visual Representation Learning阅读
道阻且长
05-01 1417
何凯明无监督论文Momentum Contrast for Unsupervised Visual Representation Learning阅读
5. 无监督学习 MoCo: Momentum Contrast for Unsupervised Visual Representation Learning
博客
10-09 1521
用于视觉表示学习的动量对比。 作者：Kaiming He 以及FAIR的一众大佬 Summary 这篇文章主要解决的是无监督视觉表示学习问题。作者从将对比学习看做字典查找（dictionary look-up）出发，使用队列（queue）和滑动平均编码器（moving-averaged encoder）构建动态字典。这一做法使得通过在线构建大容量且协调的字典来实现对比无监督学习成为可能。作者表示，该方法在7种检测和分割任务上超过了有监督学习方法。 目前，已经有一些方法借助对比损失（contrastive l
对比学习系列四 - Momentum Contrast for Unsupervised Visual Representation Learning(MOCO)
weixin_45857030的博客
01-01 1077
论文发表在2020年的CVPR，是何凯明大佬的在无监督对比学习的工作，论文获得了了最佳论文提名，通过动量对比进行无监督的视觉表征学习，算是视觉领域中使用对比学习的一个里程碑式的工作。针对无监督的视觉表征学习提出了一个Momentum Contrast (MoCo)。它说他从一个字典查找的角度出发去看待对比学习。建立了一个动态的字典学习，该字典包含一个队列和一个移动平均编码器，以便于在线构建大型且一致的字典，从而促进无监督对比学习。MOCO学习到的表征能够很好迁移到下游任务中。
MoCo论文：Momentum Contrast for Unsupervised Visual Representation Learning
flyingluohaipeng的博客
12-29 3429
本文提出了MoCo去做无监督的表征学习，虽然是基于对比学习的，但是本文是从另外一个角度来看对比学习，也就是说把对比学习看作是一个字典查询的任务。第一个部分是一个队列，因为队列中的样本不需要做梯度回传，所以就可以往队列中放很多负样本，从而使得这个字典变得很大第二个部分是一个移动平均的编码器，使用这个移动平均的编码器的目的是想让字典中的特征尽量的保持一致。作者发现在训练的过程中，如果能有一个很大而且比较一致的字典，会对无监督的对比学习非常有好处。
[对比学习][何凯明]Momentum Contrast for Unsupervised Visual Representation Learning
wwwwwsssllll的博客
09-27 1033
Mo
【点云处理之论文狂读扩展版1】——Momentum Contrast for Unsupervised Visual Representation Learning
yuanmiyu6522的博客
05-04 524
MoCo：用于无监督视觉表示学习的动量对比方法摘要1. 引言2. 相关工作3. 方法3.1 Contrastive Learning as Dictionary Look-up3.2 Momentum Contrast3.2.1 Dictionary as a queue3.2.2 Momentum update3.2.3 Relations to previous mechanisms3.3 Pretext Task3.3.1 技术细节3.3.1 Shuffling BN4. 实验5. 结论 摘要 将对
论文阅读笔记：Momentum Contrast for Unsupervised Visual Representation Learning
Nin7a的博客
11-29 7192
Momentum Contrast for Unsupervised Visual Representation Learning 论文地址 期待代码开源 Summary 提出了Momentum Contrast（MoCo）的无监督视觉表示学习方法； 把对比学习比作查字典过程，把字典当作队列，引入动量更新； 对end-to-end、Memory Bank、MoCo三种对比学习方式进行了比较； 在...
论文阅读：CVPR2020 | MoCo:Momentum Contrast for Unsupervised Visual Representation Learning
qq_17614495的博客
04-16 787
文章目录前言一、Introduction二、MethodContrastive Learning as Dictionary Look-upMomentum ContrastDictionary as a queue.Momentum update三、解析总结 前言 论文链接: https://arxiv.org/pdf/1911.05722.pdf. 提出了一种无监督视觉表征学习的动量对比(MoCo)方法。从对比学习[29]作为字典查找的角度出发，我们建立了一个带有队列和移动平均编码器的动态字典。这使得
Momentum Contrast for Unsupervised Visual Representation Learning----论文阅读2020 CVPR KaiMing
落了一地秋的博客
07-06 343
Momentum Contrast for Unsupervised Visual Representation Learning----论文阅读2020 CVPR KaiMing参考博客前文1. Introduction2. Related Workpretext task and loss functionsloss functions ------ Contrastive lossespretext taskContrastive learning vs. pretext tasks.3. Metho
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值