【计算机视觉】MoCo v3 讲解

于 2023-10-24 20:52:33 发布
阅读量999 收藏
点赞数
分类专栏： 【NLP & CV】 文章标签： 1024程序员节 计算机视觉 人工智能 机器学习 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46221946/article/details/134021361
版权

MoCo v3

论文信息

标题：An Empirical Study of Training Self-Supervised Vision Transformers

作者：Xinlei Chen, Saining Xie, Kaiming He

期刊：ICCV 2021

发布时间与更新时间：2021.04.05 2021.04.08 2021.05.05 2021.08.16

主题：计算机视觉、对比学习、MoCo

arXiv：[2104.02057] An Empirical Study of Training Self-Supervised Vision Transformers (arxiv.org)

代码：GitHub - facebookresearch/moco-v3: PyTorch implementation of MoCo v3 https//arxiv.org/abs/2104.02057

模型

作者谦虚地指出 MoCo v3 这篇论文没有提出全新的方法，而是探究了在对比学习孪生网络范式下训练 ViT（Vision Transformer）时出现不稳定的直接原因以缓解不稳定的训练技巧，同时比较了采用 Trm 结构的编码器与采用 CNNs 的编码器在性能上的差异。相比于广为使用的 CNNs ，学者们对与 ViT 模型相关的训练方法和技巧研究甚少，本篇

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不牌不改
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
MoCov3-pytorch:MoCo v3的自定义pytorch实现
04-07
MoCov3-pytorch MoCov3的自定义实现 。 我基于MoCo官方存储库进行了较小的修改。 没有ViT零件代码，仅供参考。
大概是全网最详细的何恺明团队顶作MoCo系列解读...(完结篇)
极市平台的技术博客
11-29 4214
​作者丨科技猛兽 编辑丨极市平台 本文原创首发于极市平台，转载请获得授权并标明出处。 大概是全网最详细的何恺明团队顶作 MoCo 系列解读！（上） 本文目录 1 MoCo v2 1.1 MoCo v2 的 Motivation 1.2 MoCo 相对于 End-to-end 方法的改进 1.3 MoCo v2实验 2 MoCo v3 2.1 MoCo v3 原理分析 x 2.2 MoCo v3 自监督训练 ViT 的不稳定性 2.3 提升训练稳定性的方法：冻结第1层 (patch embedding层)
moco系列学习总结
Tomatoccc的博客
05-10 537
MoCo系列学习总结 刚开始博客，写的不好请多多包含。如有错误，请指出，感谢。 原文链接 MoCo-v1:https://arxiv.org/abs/1911.05722 MoCo-v2:https://arxiv.org/abs/2003.04297 MoCo-v3:https://arxiv.org/abs/2104.02057 源码链接 MoCo-v1:https://github.com/facebookresearch/moco MoCo-v2:https://github.com/f
MoCo V3：视觉自监督迎来Transformer
m0_37046057的博客
07-18 4180
今天介绍 MoCo 系列第三版，MoCo v1 和 v2 是针对 CNN 设计的，而 MoCo v3 是针对 Transformer 结构设计的，反映了 MoCo 系列对视觉模型的普适性。
多个任务超越moco v3！OPERA：监督学习和自监督统一的框架！
zero的博客
10-13 849
大家好，今天和大家分享一篇基于何恺明团队提出moco优化的算法。提出了一个监督学习和自监督统一的框架，表征能力更强，在多个下游任务上性能超越了 moco v3。论文：https://arxiv.org/pdf/2210.05557.pdf代码：https://github.com/wangck20/OPERA创新点：基于深度学习中度量学习的监督（fully supervised，FSL）和自监督（...
自监督模型---MoCoV3
qq_38619449的博客
03-31 8476
摘要 本文没有描述一种新的方法。相反，考虑到计算机视觉的进展，它研究了一个直接的、增量的、但必须知道的基线：视觉变压器(ViT)的自我监督学习。虽然标准卷积网络的训练配方已经高度成熟和健壮，但ViT的配方还没有构建，特别是在训练变得更具挑战性的自我监督场景中。在这项工作中，我们回到基本知识，并调查几个基本组件对训练自我监督ViT的影响。我们观察到，不稳定性是降低准确性的一个主要问题，而且它可以被明显好的结果所掩盖。我们发现，这些结果确实是部分失败的，当训练更加稳定时，它们可以得到改善。我们在MoCov3和
MMselfSup训练自监督模型之mocov3
qq_41980080的博客
12-28 1392
首先调整configs/selfsup/_base_/models/mocov3_resnet50.py文件中的温度系数参数。修改mocov3_resnet50_8xb512-amp-coslr-100e_in1k.py。数据集结构为datasetdir->｛namedirs｝->pics。新建位置自定，本人为：configs/selfsup/mocov3下。注：如果遇到不收敛（loss不降低）的情况。2.写模型自监督预训练的配置文件。4.下载mmselfSup并编译。根据自己的配置安装相应版本。
论文不详细解读（一）——MoCo系列
qq_44965314的博客
06-25 421
队列存满会把最旧的样本batch替换成最新的batch，队列长度K不是样本总数量，而是远远小于总数量的（65535 vs 几百万），所以queue内存在和query正样本的概率比较小。1） queue实际存的是负样本的embbeding，为了方便计算loss 所以用的是tensor形式，负样本进出队列实际使用一个索引 ptr 显示的样本替换位置。m=0说明两个encoder的参数完全一致，而端到端的训练，是两个网络均使用梯度更新，网络参数不一定一致，所以训练不会失败。
MoCoV3：何恺明团队新作！解决Transformer自监督训练不稳定问题！
夕小瑶科技说
04-07 2836
文 | happy源 | 极市平台论文链接: https://arxiv.org/abs/2104.02057本文是FAIR的恺明团队针对自监督学习+Transformer的一篇实证研究。...
MoCoV3：何恺明！解决Transformer自监督训练不稳定问题！
qwj的博客
04-15 1315
链接：https://www.zhihu.com/question/453203448/answer/1826367462 认真的读了一下论文，还是对He表示大大的钦佩，非常细致的工作。 首先MoCo v3不应该是这篇论文的重点，这篇论文的重点应该是将目前无监督学习最常用的对比学习应用在ViT上。MoCo v3相比v2去掉了memory queue，转而像SimCLR那样采用large batch来取得稍好一点的结果，从结构上encoder借鉴BYOL那样增加了一个prediction head，..
moco 模拟接口内容讲解
05-27
moco 模拟接口内容讲解
Moco包及基本使用教程
04-16
Moco解决了开发前端时没有后端支持，开发接口时依赖没有到位的尴尬场景。 只需要简单的配置request、response等即可满足要求，支持http、https、socket。非常灵活 支持在request 中设置 Headers , Cookies , Status...
moco接口测试jar包
12-25
在开发中需要依赖一些接口，比如需要请求一个返回Json数据的接口，但是返回Json数据的接口要么是没搭建，要么是交互比较复杂。...此时，就可以使用moco来模拟接口返回接口数据，以便开发和测试工作的进行。
moco-runner
03-22
模拟服务端的返回结果，支持http所有状态码及超时设置
真不是炼丹，务实敢为的 MoCo v3
Kaiyuan_sjtu的博客
05-24 684
作者|黄挂编辑|NewBeeNLP这次分享的paper是 An Empirical Study of Training Self-Supervised Visual Trans...
11.MOCO v3
博客
04-18 401
paper链接：https://arxiv.org/abs/2104.02057 摘要 １．作者分析了训练self-supervised ViT过程中的一些现象，指出“训练过程的不稳定”是影响accuracy的一个主要的因素，但是这个因素也存在于一些看起来不错的结果里，所以往往是不容易被发现的。 ２．基于对训练过程中梯度的观察，作者提出了一个简单的trick（use fixed random patch projection，即固定住ViT的patch projection层）用于提升稳定性。 详细 重头戏
如何评价Kaiming He团队的MoCo v3？
深度学习与计算机视觉
06-05 682
链接：https://www.zhihu.com/question/453203448编辑：深度学习与计算机视觉声明：仅做学术分享，侵删作者：小小将https://www.zhihu.co...
MoCo v3：自监督ViT训练的实证研究
weixin_51697828的博客
04-03 1072
原文：Chen, Xinlei, Saining Xie and Kaiming He. “An Empirical Study of Training Self-Supervised Vision Transformers.” ArXiv abs/2104.02057 (2021). 源码：https://github.com/facebookresearch/moco-v3 虽然标准卷积网络的训练方法已经非常成熟和稳健，但ViT(Vision Transformer)的训练方法还没有建立起来，特.
【论文极速读】MoCo v3: MoCo机制下Transformer模型的训练不稳定现象
机器学习杂货铺1号店
11-03 1227
【论文极速读】MoCo v3: MoCo机制下Transformer模型的训练不稳定现象 FesianXu 20211015 at Baidu search team 前言 之前笔者在[1]中介绍过MoCo v1模型通过解耦batch size和负样本队列大小，从而实现超大负样本队列的对比学习训练方案；在[2]中我们提到了当前对比学习训练中提高负样本数量的一些方法；在[3]中提到了将MoCo扩展到多模态检索中的方案。在本文，我们介绍下MoCo v3，一种尝试在Transformer模型中引入...
class MoCo_ResNet(MoCo):
最新发布
07-27
- *1* *2* [MoCo V3：视觉自监督迎来Transformer](https://blog.csdn.net/m0_37046057/article/details/125861704)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不牌不改

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值