Moco： 无监督视觉表征学习的动量对比

最新推荐文章于 2024-11-23 16:30:00 发布
最新推荐文章于 2024-11-23 16:30:00 发布
阅读量1.6k 收藏 4
点赞数 3
分类专栏： Cantrastive Learning 文章标签： 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44846680/article/details/112845703
版权
Moco是一种用于无监督视觉表征学习的方法，通过动态字典和动量更新解决高维连续输入的问题。对比学习思想下，Moco利用InfoNCE损失函数，通过不断更新的编码器保持key的一致性。实验显示，相比于端到端和记忆库方法，Moco在大字典设置下表现出更好的性能，且在ImageNet的线性分类和迁移特征任务中取得优秀结果。此外，Moco v2引入SimCLR改进，进一步提升网络性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 概述

在NLP领域，无监督表征学习有GPT、BERT等效果非常好的模型，但是CV领域还是有监督模型作为主流。作者认为主要是因为CV和NLP领域处理的数据对应的信号空间不同：语言任务有离散的信号空间，词语词之间可以视为是独立的词组，能够很方便地构成字典（Dictionary），这种词典是无监督学习便于学习依赖的特征；而视觉领域的原始信号是在一个连续且高维空间中，无法成为结构化的信号，使得无监督学习难以展现在NLP领域发挥出的效果。

moco原理

作者提出了一种动态字典，即MOCO，新的minibatch对应的字典在进入队列时，将会替换最早进入的字典，使得字典始终是所有数据的子集，又始终代表最新的表征，经过试验发现，Moco的表现非常之好。

2 思想

对比学习的思想在于，通过一些已编码的query（q），使其与其对应的key（k）相对应，k是被编码的样本的在字典中的key { k 0 , k 1 , k 2 . . . } \lbrace k_0,k_1,k_2...\rbrace { k0​,k1​,k2​...}，假设 q q q与 k + k_+ k+​相匹配，对比损失的目的是尽量拉近 q q q与 k + k_+ k+​之间的距离而增大 q q q与其他 k i k_i ki​之间的距离（拉近正对，缩小负对，其他的 k i k_i ki​都是负对），Moco用的是点积的方法衡量相似度，称为InfoNCE loss：
ℓ i , j = − log ⁡ exp ⁡ ( q ⋅ k + / τ ) ∑ i = 0 K exp ⁡ ( q ⋅ k i

最低0.47元/天 解锁文章
机器学习之对比学习MoCo
JustinMars的博客
07-16 429
MoCo（Momentum Contrast）是由Facebook AI Research提出的一种对比学习方法，用于无监督的视觉表示学习。MoCo通过使用动量更新机制和一个队列存储负样本，使得可以在小批次训练中实现高效的对比学习。
再发力！Facebook AI何恺明等最新研究MoCo (动量对比学习) 第二版.pdf
03-11
无监督学习再发力！Facebook AI 研究团队的陈鑫磊、樊昊棋、Ross Girshick、何恺明等人提出了第二版动量对比（MoCo）的无监督训练方法。使用一个MLP投影头和更多的数据增强——建立了比Hinton前一久的SimCLR更强的基准，并且不需要大量的训练。
无监督对比学习之MOCO 《Momentum Contrast for Unsupervised Visual Representation Learning》
weixin_42764932的博客
01-18 1万+
无监督学习 如果可以建立一种通用的无监督模型，经过海量无标签数据的学习后，可以习得一个强大的特征提取器，在面对新的任务，尤其是医疗影像等小样本任务时，也能提取到较好的特征。这就是无监督学习的意义。 对比学习 对比学习的概念很早就有了，它是无监督学习的一种方法，但真正成为热门方向是在2020年的2月份，Hinton组的Ting Chen提出了SimCLR，用该框架训练出的表示以7%的提升刷爆了之前的SOTA，甚至接近有监督模型的效果。 对比学习不需要高细粒度的还原，它所记住的事物特征，不一定是像素级别的，而是
对比学习——moco
Rain
11-23 363
这样会遇到新的问题，即如何保证队列内多个batch之间的模型参数相近，本文就提出了动量对比学习的方式，每个batch更新模型参数时不仅依赖当前输入，还要依赖上一个batch的模型参数，使其缓慢平稳的进行参数更新，其中动量使用0.999效果最好。7.下游任务：linear classification protocol，在分类任务上应用，把网络当成特征提取器，冻住moco的编码器（resnet），加一个mlp分类头，用30的学习率（超级大）进行微调。info NCE loss见simCLR解析。
MoCo：无监督视觉表示学习中的动量对比
weixin_51697828的博客
12-20 774
我们提出了一种基于动量对比(MoCo)的无监督视觉表示学习方法。我们将对比学习看作字典查找，从这个角度出发，构建了一个带有队列和移动平均编码器的动态字典。这使得动态构建一个大型且一致的字典成为可能，从而促进无监督对比学习。在ImageNet线性分类协议下，MoCo的结果很有竞争力。更重要的是，MoCo学习到的表示可以很好地迁移到下游任务上。MoCo可以在PASCALVOC、COCO和其他数据集上的7项检测/分割任务中超过它的有监督预训练对手，有时甚至是远远超过。这表明，在许多视觉任务中，无监督和有监督表示.
MoCo与其他的对比学习
qq_45809323的博客
09-26 951
MoCo 中的字典是一个存储负样本表示的FIFO 队列，它通过结合动量编码器生成的 key 和队列化机制，确保负样本的数量充足、表示一致并具有多样性。减少对大 batch size 的依赖：通过跨 batch 存储负样本，MoCo 可以在小 batch size 下进行有效训练。保持负样本表示一致性：通过动量编码器的缓慢更新，确保字典中的负样本表示在训练中保持相对一致。提高负样本多样性：字典队列中的 key 是动态更新的，确保了负样本的多样性。
MoCo: 自监督视觉表示学习的里程碑
helloaiworld的博客
09-23 1133
MoCo通过巧妙的对比学习设计和动量编码器的创新,在多个下游任务中取得了突破性成果,成为了自监督视觉表示学习的重要里程碑。它的成功表明,通过巧妙的算法设计,我们可以从海量的未标注数据中学习到强大而通用的表示,这无疑为AI的发展开辟了一条充满希望的道路。目标检测:在COCO数据集上,MoCo预训练的模型在目标检测任务上的性能超过了从头训练的模型,甚至接近了使用ImageNet监督预训练的模型。大规模预训练:利用MoCo的高效性,在更大规模的数据集上进行预训练,可能会带来更惊人的结果。
经典自监督学习方法中的动量对比（Momentum Contrast，MoCo）方法详解
DuHz的博客
11-01 1424
自监督学习是一种无需人工标注数据的学习方法。它通过设计代理任务（Proxy Task）或预训练任务，使模型在这些任务上进行训练，从而学习到有用的特征表示。这些特征表示可以迁移到下游任务，如图像分类、目标检测、自然语言处理等，显著提升模型的性能。对比学习是一种基于样本对的学习方法，其核心思想是将相似的样本对（正样本对）拉近，不相似的样本对（负样本对）推远。通过这种方式，模型能够学习到有区分力的特征表示。
自监督学习-对比学习-MoCo Momentum Contrast 阅读笔记
weixin_43656644的博客
07-21 3057
MOCO用于无监督表征学习。我们从另外一个角度来理解对比学习，即从一个字典查询的角度来理解对比学习。moco中建立一个动态的字典，这个字典由两个部分组成一个队列queue和一个移动平均的编码器moving-averagedencoder。这两个东西造就了一个更大的和更一致consistent的字典，对无监督的对比学习有很大的帮助。(队列中的样本不需要做梯度反传，因此可以在队列中存储很多负样本，从而使这个字典可以变得很大。......
1.无监督学习概述: 生成学习VS对比学习
博客
10-10 6283
概述 自监督方法在深度学习中将取代当前占主导地位监督方法的预言已经存在了很长时间。 如今，自监督方法在Pascal VOC检测方面已经超过了监督方法（2019年何恺明提出的MoCo方法），并且在许多其他任务上也显示出了出色的结果。 最近自监督方法兴起的背后是他们都遵循了 contrastive learning 。 当前的机器学习方法大多依赖于人类标注信息，这种对标注信息的过度依赖有如下危险： 数据的内部结构远比标注提供的信息要丰富，因此通常需要大量的训练样本，但得到的模型有时是较为脆弱的。 在高维分类问
【无监督学习】1、MOCOv1 | 用于提升无监督学习效果的动量对比学习
呆呆的猫的博客
06-22 1355
本文主要介绍无监督学习之 MOCOv1
Unsupervised Learning | 对比学习——MoCo
Clichong
01-28 5710
文章目录1. Introduction2. Related Work2.1 Loss functions2.2 Pretext tasks2.3 Contrastive learning & pretext task2.4 Unsupervised or Supervised3. MoCo Method3.1 Contrastive Learning as Dictionary Look-up3.2 Momentum Contrast3.3 Shuffling BN4. Experiments
深度笔记 - Moco对比式学习 （Momentum Contrast for Unsupervised Visual Representation Learning）
参谋谋的博客
12-29 3046
一些废话： 之前读完了MAE，对自监督学习有了新的认知。 当初在看半监督学习时，发现MeanTeacher、semiGan也好，蒸馏学习也好，其实多多少少采用了相似的思想。 而恺明大佬在MAE中对NLP任务和CV任务的分析与探讨也让人感受很深，首先有些方法不一定非常新颖，但如何得出这个方法，这个思考过程，是非常重要的。 概述 2017年，FAIR提出的Moco不仅逼近、甚至超越了部分有监督视觉任务的预训练模型。 自监督学习可以粗略分为：基于上下文、基于对比的、基于时序这三种。 入门可以阅读这篇博客：自监
李沐论文精读系列三：MoCo、对比学习综述（MoCov1/v2/v3、SimCLR v1/v2、DINO等）
热门推荐
qq_56591814的博客
11-03 3万+
详细介绍了MoCov1模型，以及14种对比学习方法：Inst Disc、Inva Spread、CMC、CPC、MoCov1/v2/v3、SimCLR v1/v2、SwAV、BYOL、SimSiam、DINO
VC R-CNN | 无监督的视觉常识特征学习（附源码）
gzq0723的博客
07-06 4230
计算机视觉研究院专栏作者：Edison_G最近CVPR不是在线直播，我关注了下，发现一篇很有意思的paper。让我想到在研究生有做过类似的算法——因果关系。今天我们看看这位作者是怎么处理...
自监督学习之对比学习：MoCo模型超级详解解读+总结
CV在读
09-19 1万+
动量对比学习方法做无监督表征学习。使用动量的方式更新编码器，使用队列的方法存储memory bank这个字典，从而获得一个又大又一致的字典。
论文笔记与实战：对比学习方法MOCO
weixin_43508499的博客
06-10 3686
论文笔记与实战：MOCO对比学习方法
对比学习论文——[MoCo,CVPR2020]Momentum Contrast for Unsupervised Visual Representation Learning
umbrellalalalala的博客
03-21 711
目录对比学习简述MoCo的创新动机loss function：InfoNCEMoCo的流程伪代码其他细节实验和结论 对比学习简述 假设由三张图片，其中两张是人，一张是狗。将三张图片都通过同一个神经网络，得到特征空间中的三个特征f1f_1f1​，f2f_2f2​，f3f_3f3​，假设前两个是人对应的特征，后一个是狗对应的特征。对比学习要做的就是让f1f_1f1​和f2f_2f2​在特征空间中尽可能接近，并且两者都要和f3f_3f3​保持距离。 要注意这三张图片都是无标签的，但是对比学习需要知道哪两张是类似的
读论文——MoCo(何恺明 CV中的无监督)
y1040468929的博客
12-18 1436
第一遍 标题以及作者（2020 3.23） 前置知识 代理任务(用来生成有监督信号)： Instance Discrimination 同一个图片中的不同块是一类，不同图片就是不同的类 摘要 将对比学习视为字典查询任务，构建一个动态的字典。（样本队列+移动平均编码器） MoCo学习到的特征可以迁移到下游任务中，在7种下游视觉任务上，让无监督学习比有监督学习表现更好。（Note：特征提取器和迁移下游任务是具有区别的） 结论 MoCo在一亿数据集上的表现和百万数据集上的表现提升不大，有没有可能是
用动量对比学习做视觉任务
最新发布
04-03
### 动量对比学习在视觉任务中的应用 动量对比学习（Momentum Contrast, MoCo）是一种用于无监督特征学习的方法，它通过构建动态词典来进行实例级别的区分[^5]。MoCo 的核心思想在于维护一个队列结构以存储历史负样本，并利用动量更新机制保持编码器参数的一致性。 #### 方法概述 MoCo 使用两个神经网络：一个是查询编码器 \( q \)，另一个是键编码器 \( k \)。查询编码器负责处理当前批次的数据并生成嵌入向量；而键编码器则用来生成历史数据的嵌入向量。为了减少计算开销，键编码器的权重不是直接优化得到，而是通过动量更新的方式从查询编码器继承： \[ k_{t} = m \cdot k_{t-1} + (1-m) \cdot q_t, \] 其中 \( m \in [0, 1] \) 是动量系数。这种设计使得键编码器能够平滑地跟踪查询编码器的变化，从而提高模型稳定性。 #### 对比损失函数 MoCo 中使用的对比损失函数通常采用 InfoNCE 形式，其定义如下： \[ L = -\log \frac{\exp(\text{sim}(q, k^+)/\tau)}{\sum_{i=0}^{K}\exp(\text{sim}(q, k_i)/\tau)}, \] 这里 \( q \) 表示查询向量，\( k^+ \) 是正样本对应的键向量，\( k_i \) 则是从队列中采样的负样本集合成员[\(^5]\)]。相似度函数 \( \text{sim}() \) 可能是最简单的点积操作或者经过归一化后的余弦距离。 #### 实验设置与性能提升 实验表明，在大规模图像分类任务上预训练过的 MoCo 模型可以通过线性评估协议展示出优异的表现[^3]。具体来说，当与其他自监督方法比较时，MoCo 不仅能够在较小批量大小下工作良好，而且还能随着批尺寸增大进一步改善效果。此外，增加网络宽度和深度同样有助于获得更好的表征质量。 ```python import torch.nn.functional as F def info_nce_loss(query, key_positive, keys_negative, temperature=0.1): """ Compute the contrastive loss using InfoNCE. Args: query: Tensor of shape (B, D), where B is batch size and D is embedding dimension. key_positive: Tensor of shape (B, D). keys_negative: Tensor of shape (K, D), K being number of negatives per positive pair. temperature: Scalar value controlling sharpness of distribution. Returns: Loss scalar tensor. """ logits = torch.cat([F.cosine_similarity(query.unsqueeze(1), key_positive.unsqueeze(2)), F.cosine_similarity(query.unsqueeze(1).unsqueeze(2), keys_negative.T)], dim=-1) labels = torch.zeros(len(query)).long().cuda() return F.cross_entropy(logits / temperature, labels) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值