MoCo ： 引入对比学习来实现自监督训练

已于 2022-11-28 14:20:24 修改
阅读量596 收藏 4
点赞数
分类专栏： ai学习笔记 文章标签： 深度学习
于 2022-11-19 19:30:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43605214/article/details/127898303
版权

源：MoCo 论文逐段精读【论文精读】_哔哩哔哩_bilibili

对比学习简单理解

将图像通过一个网络提取出特征f，如果图像相似，使得特征尽量靠近，不相似的尽量远离

定义什么是正负样本的规则就理解为代理模式（Pretext Task），用代理模式定义的正负样本来取代标签。

再定义一个损失对提取出的特征操作使得定义的正样本之间的距离靠近，定义的负样本远离即可。

一些思路：

对比学习可以用得很灵活，可以用各种不同思路取各种Pretext Task来替代标签都行

比如rgb图像跟深度图像，或者正面背面作为正样本来对比。或者视频里的任意两帧作为正样本，其他视频的帧视为负样本。nlp中（cimCSE）同一个句子做两次forward每次使用不同的dropout取得两个不同值作为正样本等等

MoCo 

引入对比学习，通过代理任务替代定义的正负样本规则来替代图像标签，从而进行无监督学习

类比nlp中的无监督任务时，需要做一个词嵌入操作，独热向量其他位置全零默认了每个词之间没关系，词嵌入效果更好，构造一个涵盖了大量词汇的字典
有了这个字典，在nlp任务中就可以不需要标签了，比如bert的mask方式，盖住一个词，做预测，原本这个词的词向量作为标签来比对计算损失

 

将这个思路用在cv任务中，但是每个文字本身是具有明确的语义信息的，比如含有猫这个语义信息的文字就是猫，而含有猫这个语义信息的图像有无数张，所以不能直接用图像来做对比，而是提取每张猫图的共有特征，来构造字典
moco中构造的特征字典也是为了在不需要标签的情况下使得损失可算，所以为了涵盖更广构造得越大越好
 

整体理解

MoCo的自监督体现在训练过程，训练的时候不需要标签，通过Pretext Task定义的正负样本来训练，目标是训练出一组权重使得定义的正样本与负样本提出的特征能够很好的区分开，再将训练好的权重拿去在下游任务中做微调。下游任务使用正样本q的encoder，只修改最后的全连接或者输出头即可有一个不错的结果。

本文的Pretext Task

将每个图像x通过增广得到的x1,x2定义为正样本，其他所有图像都作为负样本。

x1,x2通过不同的增广看起来会很不一样，但是他们携带的语义信息是相同的，所以缩减x1,x2之间的距离，增加与其他所有样本的距离。

具体操作

锚点通过encoder E1获取特征f1，所有负样本都和正样本一样通过encoder E2获取特征。

对比特征使得f11与f12相近，与其他负样本在特征空间的距离尽量远。

将encoder E2获取的正负样本的特征都存入一个字典中，每次用f11也就是query去对比字典中的值，最相近的一个key作为正样本。

衡量相似性的方式InfoNCE：

考虑一个编码查询q和一组编码样本{k0, k1, k2, ...}，它们是一个字典的键。假设字典中存在一个与q相匹配的键（表示为k+）。对比性损失[29]是一个函数
当q与它的正键k+相似而与所有其他键不相似时，其值为低。
而与所有其他键（被认为是负键
为q）。用点积来衡量相似度，一种形式的
本文考虑了一种对比性损失函数，称为InfoNCE[46]

momentum encoder

所有的key都应该用相同或者尽可能相似的编码器得到，不然q在查询时可能找到的是一个和他的编码方式相似的key从而得到的值相似，而不是真正的语义层面导致的相似

原文的实现引入了队列和动量更新encoder，如下图 

引入队列是受限于显卡内存，字典中的所有k要越大越好，但是显存不够存所有k，用队列的方式存，每次读一个新的mini-batch时就将最早进入的mini-batch读出。队列还是很长的队列由所有k组成，但是每次只操作一小部分数据。

momentum encoder是为了使得每一个batch的编码方式尽可能一致，将m取一个极大的值编码器就基本只由前一个Batch的编码器决定，本文取的0.999

如果直接将\Thetak取\Thetaq中的值，\Thetaq的值每个batch都会随着反向传播更新梯度，相当于这种方式构造的\Thetak一直在不断变化，从而导致每一个batch的特征k提取方式不太一致

 一些之前的方法受限于构造的字典大小或者k的encoder中数据一致性

结合一些之前的方法分析为何会受限。

第一种端到端方式，encoder q和k都通过梯度回传来更新参数

全流程伪代码

将输入x通过不同的encoder获取q k

k.detach是不计算梯度，也可用no_grid实现

计算正样本，也就是q乘k+，和负样本

然后将拼接在一起，拼的时候正样本放第一列，计算交叉熵时所有正样本都是第0类，所以正样本标签直接构造一个0向量即可

然后反向传播跟新q的encoder 动量跟新k的encoder

0基础快速入门整数的读写
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
再发力！Facebook AI何恺明等最新研究MoCo (动量对比学习) 第二版.pdf
03-11
无监督学习再发力！Facebook AI 研究团队的陈鑫磊、樊昊棋、Ross Girshick、何恺明等人提出了第二版动量对比（MoCo）的无监督训练方法。使用一个MLP投影头和更多的数据增强——建立了比Hinton前一久的SimCLR更强的基准，并且不需要大量的训练。
moco系列学习总结
Tomatoccc的博客
05-10 544
MoCo系列学习总结 刚开始博客，写的不好请多多包含。如有错误，请指出，感谢。 原文链接 MoCo-v1:https://arxiv.org/abs/1911.05722 MoCo-v2:https://arxiv.org/abs/2003.04297 MoCo-v3:https://arxiv.org/abs/2104.02057 源码链接 MoCo-v1:https://github.com/facebookresearch/moco MoCo-v2:https://github.com/f
Unsupervised Learning | 对比学习——MoCo
Clichong
01-28 5271
文章目录1. Introduction2. Related Work2.1 Loss functions2.2 Pretext tasks2.3 Contrastive learning & pretext task2.4 Unsupervised or Supervised3. MoCo Method3.1 Contrastive Learning as Dictionary Look-up3.2 Momentum Contrast3.3 Shuffling BN4. Experiments
机器学习新宠：对比学习论文实现大合集，60多篇分门别类，从未如此全面
09-27 1029
点击上方，选择星标或置顶，每天给你送上干货作者|对白  出品|公众号：对白的算法屋大家好，我是对白。最近对比学习真的太火了，已然成为各大顶会争相投稿的一个热门领域，而它火的原因也很简单，就是因为它解决了有监督训练标注数据有限这个典型问题（这个问题在工业界非常滴常见）。所以对比学习的出现，给CV、NLP和推荐都带来了极大的福音，具体来说：1、在CV领域，解决了“在没有更大标注数据集的情况下，如何采用自监督预训练模式，来从中吸取图像本身的先验知识分布，得到一个预训练模型”的问题；2、在NLP
自监督学习之对比学习：MoCo模型超级详解解读+总结
最新发布
CV在读
09-19 3039
动量对比学习方法做无监督表征学习。使用动量的方式更新编码器，使用队列的方法存储memory bank这个字典，从而获得一个又大又一致的字典。
论文笔记与实战：对比学习方法MOCO
weixin_43508499的博客
06-10 2597
论文笔记与实战：MOCO对比学习方法
moco.tensorflow:动量对比度（MoCo）的TensorFlow重新实现
04-23
添加--v2来训练MoCov2，该MoCov2使用额外的MLP层，额外的扩充和余弦LR时间表。 线性分类： 要使用预训练的特征训练线性分类器，请运行： ./main_lincls.py --load /path/to/pretrained/checkpoint --data /path/to...
moco:MoCo的PyTorch实施
03-20
MoCo：用于无监督视觉表示学习的动量对比这是MoCo的PyTorch实现： @Article{he2019moco, author = {Kaiming He and Haoqi Fan and Yuxin Wu and Saining Xie and Ross Girshick}, title = {Momentum Contrast for ...
scan_unsupervised:扫描+ MOCO无监督学习
03-15
此回购包含我们论文的Pytorch实现： ， ， ，Marc Proesmans和Luc Van Gool。 在ECCV 2020（ ）上接受。 在上Yannic Kilcher对我们论文的解释。 :trophy: SOTA有4个基准。 检出用于或不 。 :NEW_button: 对无...
moco:简易安装存根服务器
03-31
Moco是一个易于设置的存根框架。最新发布1.1.0 更多详细信息用户语音您是否正在使用Moco。 加入Moco进行讨论。为什么集成，尤其是基于HTTP协议的集成，例如Web服务，REST等，在我们的大多数开发中都被广泛使用。 在...
contrastive-learning:对比学习方法
03-10
对比学习方法 支持更多内容的对比学习方法的第三方pytorch实现（请参阅“可用内容”部分）。 有什么可用的？ 使用SimCLR进行对比学习预训练 通过停止梯度进行在线线性评估 Pytorch闪电登录和默认收益（多GPU训练，混合精度等） 在GPU装置上收集负片以模拟更大的批次大小（尽管梯度不会在GPU上流动） 使用加快数据加载速度（以使用更多GPU内存为代价） SimCLR多分辨率农作物 SimCLR + 预训练后线性评估（通常得出1-1.5％的准确度点） 工作于： 结果 模型 方法 数据集 时代 批 温度 多作 大理 监督下 在线线性评估 预训练后线性评估 Resnet18 SimCLR Imagenet-100 100 256 0.2 70.74 71.02 Resnet18 SimCLR Imagenet-100 100 256 0.2 :check_mark_button:
对比学习系列（二）---MoCo 系列
陶将的博客
03-24 6768
MoCo 系列 文章目录MoCo 系列自监督MoCo V1前言动量对比Dictionary as a queueMomentum update代理任务Shuffling BN实验MoCo V2MoCo V3参考 自监督 监督学习在视觉领域应用广泛且成熟，但是也存在着一些挑战：监督学习需要大量带标签的数据，数据易得，但是给数据打标签工作枯燥且繁复，且成本高昂。我们希望能够省去人工标注的环节，使用无标签的数据集去预训练。 自监督学习是一种不需要人工输入数据标签的监督学习。不同于监督学习，自监督学习在没有
深度笔记 - Moco对比式学习 （Momentum Contrast for Unsupervised Visual Representation Learning）
参谋谋的博客
12-29 2838
一些废话： 之前读完了MAE，对自监督学习有了新的认知。 当初在看半监督学习时，发现MeanTeacher、semiGan也好，蒸馏学习也好，其实多多少少采用了相似的思想。 而恺明大佬在MAE中对NLP任务和CV任务的分析与探讨也让人感受很深，首先有些方法不一定非常新颖，但如何得出这个方法，这个思考过程，是非常重要的。 概述 2017年，FAIR提出的Moco不仅逼近、甚至超越了部分有监督视觉任务的预训练模型。 自监督学习可以粗略分为：基于上下文、基于对比的、基于时序这三种。 入门可以阅读这篇博客：自监
对比学习：MoCo :Momentum Contrast for Unsupervised Visual Representation Learning
ACM_hades的博客
03-30 1186
参考链接 论文链接：https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1911.05722 代码链接：https://github.com/facebookresearch/moco Introduction 无监督的表示学习再NLP领域已经取得了巨大的成功，比如：bert预训练模型；但是再CV领域，监督的表示学习还是比无监督的表示学习要好。这主要的原因是什么呢？论文认为：主要的原因是NLP和CV的信号空间不一样 NLP是基于字典的离散的
自监督模型---MoCo
热门推荐
qq_38619449的博客
03-16 1万+
论文地址：Momentum Contrast for Unsupervised Visual Representation Learning 开源代码：PyTorch implementation of MoCo 摘要 该论文提出了动量对比度(MoCo)用于无监督的视觉表示学习。构建了一个带有一个队列和一个移动平均编码器的动态字典。这使得建立一个大的和一致的字典的动态，促进对比无监督学习。MoCo在ImageNet分类的通用线性协议下提供了有竞争的结果。更重要的是，MoCo学习到的表示可以很好地转移到
对比学习MocoV1
qq_52038588的博客
05-24 315
队列（样本不用做梯度回传），移动平均编码器（字典里特征尽量保持一致，训练过程中发现很大一致的字典对无监督对比学习有好处））linear protocol：骨干网络预训练好了，用到其他数据集时backbone freeze，只学FC层，间接证明特征提取的好不好全面的在视觉领域比有监督好。
对比学习Python实现
徐奕的专栏
01-13 5605
对比学习是一种通过对比正反两个例子来学习表征的自监督学习方法。对于自监督对比学习，下一个等式是对比损失： Li,j=−log⁡exp(zi⋅zj/τ)∑k=1,k≠i2Nexp(zi⋅zk/τ) \mathcal{L}_{i,j} = - \log \frac{exp(\textbf{z}_i \cdot \textbf{z}_j / \tau)}{\sum_{k=1,k\neq i}^{2N}exp(\textbf{z}_i \cdot \textbf{z}_k / \tau)} Li,j​=−log∑
对比学习系列论文MoCo v1（一）：MoCo v1的预览
qq_43210957的博客
07-29 902
1.对比学习到底在干啥? 1.1最原始的对比学习是什么？ 为了顺利的入门对比学习我们得先看懂下面的图片： 首先（a）：理解一下这里的xq和xk，这两个东西其实是来自于一张图片，只是做了一些数据增强（我理解数据增强应该是不训练的）。之后再使用不同的encoder之后得到q和k之后计算两个的相似度，让两者相似度升高，这个其实是有一个对抗的思想在里面。 1.2之后做的工作有哪些？ 其次（b）：理解一下就是不对抗了，直接key的一侧不进行更新了。 最后（c）：MoCo在做什么工作，这里其实没有表示出MoCo关于qu
对比学习论文——[MoCo,CVPR2020]Momentum Contrast for Unsupervised Visual Representation Learning
umbrellalalalala的博客
03-21 619
目录对比学习简述MoCo的创新动机loss function：InfoNCEMoCo的流程伪代码其他细节实验和结论 对比学习简述 假设由三张图片，其中两张是人，一张是狗。将三张图片都通过同一个神经网络，得到特征空间中的三个特征f1f_1f1​，f2f_2f2​，f3f_3f3​，假设前两个是人对应的特征，后一个是狗对应的特征。对比学习要做的就是让f1f_1f1​和f2f_2f2​在特征空间中尽可能接近，并且两者都要和f3f_3f3​保持距离。 要注意这三张图片都是无标签的，但是对比学习需要知道哪两张是类似的
自监督的对比学习框架都有哪些
06-02
3. MoCo：采用同样的对比学习方法，但引入了动量更新策略，以提高模型的性能。 4. BYOL：通过学习将一个编码器的输出映射到另一个编码器的输出的映射函数，来学习特征表示。 5. Barlow Twins：通过最小化两个编码...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值