【计算机视觉】MoCo v3 讲解

不牌不改

于 2023-10-24 20:52:33 发布

阅读量1.3k

点赞数

分类专栏：【NLP & CV】文章标签： 1024程序员节计算机视觉人工智能机器学习神经网络深度学习

本文链接：https://blog.csdn.net/weixin_46221946/article/details/134021361

版权

【NLP & CV】专栏收录该内容

47 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细探讨了MoCo v3，一种用于训练自监督视觉Transformer的框架。文章揭示了在对比学习中使用Transformer时的训练不稳定性问题，并提供了关于学习率、batchsize和模型结构对稳定性影响的实证研究。作者通过实验展示了固定patch映射层可以提高训练稳定性并提升模型性能。此外，MoCo v3在ViT-B/16上的实验结果显示，其在多个对比学习方法中表现出色，尤其是在大规模模型中。文章还讨论了位置嵌入、CLS token、BN操作和预测层在模型中的作用，以及动量编码器的动量系数对性能的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MoCo v3

论文信息

标题：An Empirical Study of Training Self-Supervised Vision Transformers

作者：Xinlei Chen, Saining Xie, Kaiming He

期刊：ICCV 2021

发布时间与更新时间：2021.04.05 2021.04.08 2021.05.05 2021.08.16

主题：计算机视觉、对比学习、MoCo

arXiv：[2104.02057] An Empirical Study of Training Self-Supervised Vision Transformers (arxiv.org)

代码：GitHub - facebookresearch/moco-v3: PyTorch implementation of MoCo v3 https//arxiv.org/abs/2104.02057