ConvNeXt V2：用MAE训练CNN

最新推荐文章于 2025-06-28 09:02:39 发布
最新推荐文章于 2025-06-28 09:02:39 发布
阅读量1.8k 收藏 22
点赞数 20
CC 4.0 BY-SA版权
文章标签： cnn 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wulele2/article/details/136309145

论文名称：ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
发表时间：CVPR2023
code链接：代码
作者及组织: Sanghyun Woo，Shoubhik Debnath来自KAIST和Meta AI。

前言

  ConvNextV2是借助MAE的思想来训练ConvnextV1。关于ConvnextV1可参考：
  A ConvNet for the 2020s

1、Fully Convolutional Masked Autoencoder

 本文借助MAE的思想，设计了一套基于CNN的自监督学习网络结构。
在这里插入图片描述

 如上图所示，首先随机mask住2D图像的patch区域，为了防止Conv在训练过程中“看到“被遮挡区域的信息，于是Encoder部分采用了Sparse Conv(简单来说就是仅卷有像素值的区域)；而Decoder则是一层Convnext Block；最终类似SIMMIM，仅用MSE Loss计算被遮挡部分的损失函数。
 这里值得注意一个点：在Pretraining Stage用SparseCNN，在Finetuning Stage又将SparseCNN转变成常规卷积。
 最终取得实验结果：发现还是比不上有监督训练。

在这里插入图片描述

2、Global Response Normalization（GRN）

 在上节中，发现FCMAE效果还是差点儿，于是作者可视化特征图的每个channel：发现有好多失活的，这跟MAE训练的ViT效果相反：不同channel均有激活且多样性丰富。
在这里插入图片描述

 为了增加channel的多样性，作者设计了GRU的归一化方式：

在这里插入图片描述

 简单说下上

最低0.47元/天 解锁文章
武乐乐~
关注
YOLOv8改进 | 主干篇 | ConvNeXtV2全卷积掩码自编码器网络（附代码 + 完整修改流程 + 解析）
Snu77的博客
01-04 4760
到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv8改进有效涨点专栏，本专栏目前为新开的平均质量分98分，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，目前本专栏免费阅读(暂时，大家尽早关注不迷路~)如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备​。
DeepLabv3+改进60:更换convnextv2主干网络
最新发布
AIcurator的博客
08-25 417
【DeepLabv3+改进专栏】🔥 重磅推出语义分割优化方案！🌟 核心改进：1）融合注意力机制与多尺度优化；2）新增MobileNetV4、ConvNeXtV2等6种骨干网络支持；3）即插即用模块设计。技术亮点包括：📌 动态调整空洞卷积率（16/8/4）对应不同下采样因子；📌 独创GRN全局响应归一化层；📌 支持DeepLab标准接口输出高低层特征。代码实现提供完整训练框架，涵盖从骨干网络构建（如ConvNeXtV2的7层深度可分离卷积）到ASPP加强特征提取的全流程。150字符摘要：🔥Deep
图像卷积操作matlab代码-CNN-MAR:基于卷积神经网络的X射线计算机断层摄影中的金属伪影减少（CNN-MAR）
05-23
图像卷积操作matlab代码CNN-MAR 基于卷积神经网络的X射线计算机断层摄影中的金属伪影减少（CNN-MAR） 版本1.0 张彦波博士（） 于恒勇博士（） 马萨诸塞州洛厄尔大学 2018.03.24 描述： 这段代码是用Matlab编写的。 它已在装有Windows 10操作系统，Matlab R2016a，Microsoft Visual C ++ 2012和GeForce GTX 970 GPU卡的PC上进行了测试。 由于该代码使用的是MatConvNet工具箱，因此如果您在测试环境中遇到兼容问题，请参考MatConvNet主页（）中的说明。 您可以在CPU或GPU模式下使用此代码来训练自己的神经网络。 我们还提供了训练有素的神经网络，小型训练数据样本和三个示例数据。 因此，您可以直接运行Demo_CNNMAR.m以获取样本数据的结果。 资料夹结构： Demo_CNNMAR.m：应用方法和评估的示例代码 cnnmar：CNN-MAR功能 数据：示例训练数据和金属工件数据 依赖的 matconvnet：MatConvNet工具箱， Practical-cnn-reg-2016a
YOLOv11改进 | 主干/Backbone篇 | 轻量化ConvNeXtV2全卷积掩码自编码器目标检测网络（适配yolov11全系列）
Snu77的博客
11-01 2359
本文给大家带来的改进机制是ConvNeXtV2网络，ConvNeXt V2是一种新型的卷积神经网络架构，它融合了自监督学习技术和架构改进，特别是加入了全卷积掩码自编码器框架和全局响应归一化（GRN）层。我将其替换YOLOv11的特征提取网络，用于提取更有用的特征。经过我的实验该主干网络确实能够涨点在大中小三种物体检测上，同时该主干网络也提供多种版本，大家可以在源代码中进行修改版本的使用。本文通过介绍其主要框架原理，然后教大家如何添加该网络结构到网络模型中。本文内容可根据yolov11的N、S、M、L、
ConvNeXt V2：与屏蔽自动编码器共同设计和缩放ConvNets，论文+代码+实战
博客首页
04-03 4043
本文利用MAE设计了全卷积掩码自编码器：FCMAE和新的全局响应归一化（GRN）层，并提出一个卷积主干新系列：ConvNeXt V2，它显著提高了纯ConvNet在各种视觉基准上的性能，最小的Atto版本仅有3.7M参数，而最大的Huge版本可高达88.9%准确率！摘要：在2020年代初，随着改进的架构和更好的表示学习框架的出现，视觉识别领域经历了快速的现代化和性能提升。例如，现代的ConvNets，如ConvNeXt 在各种场景中展现出强大的性能。
ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
窝要芝士的博客
01-10 1149
ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
论文笔记《ConvNeXt V2：Co-designing and Scaling ConvNets with Masked Autoencoders》
丶Karl的博客
04-04 2518
ConvNeXt V2：使用掩码自动编码器共同设计和扩展ConvNet。
【第64篇】ConvNeXt V2论文翻译：ConvNeXt V2与MAE激情碰撞
AI浩
01-06 2287
论文链接：ConvNeXt V2 在改进的架构和更好的表示学习框架的推动下，视觉识别领域在21世纪20年代初实现了快速现代化和性能提升。例如，以ConvNeXt[52]为代表的现代ConvNets在各种场景中都表现出了强大的性能。虽然这些模型最初是为使用ImageNet标签的监督学习而设计的，但它们也可能受益于自监督学习技术，如蒙面自编码器(MAE)[31]。然而，我们发现，简单地结合这两种方法会导致性能不佳。在本文中，我们提出了一个全卷积掩码自编码器框架和一个新的全局响应归一化(GRN)层，可以添加到Co
ConvNeXt V2 论文笔记
T-SW的博客
04-28 2868
ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders（2023.1.2-v1）
【第62篇】ConvNeXt V2论文翻译：ConvNeXt V2与MAE碰撞
m0_47867638的博客
04-22 367
在改进的架构和更好的表示学习框架的推动下，视觉识别领域在21世纪20年代初实现了快速现代化和性能提升。例如，以ConvNeXt[52]为代表的现代ConvNets在各种场景中都表现出了强大的性能。虽然这些模型最初是为使用ImageNet标签的监督学习而设计的，但它们也可能受益于自监督学习技术，如蒙面自编码器(MAE)[31]。然而，我们发现，简单地结合这两种方法会导致性能不佳。
ConvNeXt V2：卷积网络与自监督学习的协同设计革命
m0_64719223的博客
06-16 965
Meta AI与纽约大学团队提出ConvNeXt V2，通过协同设计全卷积掩码自编码器（FCMAE）和全局响应归一化（GRN）层，解决了传统卷积网络在自监督学习中的瓶颈。FCMAE采用稀疏卷积处理遮罩输入，实现高效预训练；GRN通过通道竞争机制防止特征坍塌。实验表明，ConvNeXt V2在ImageNet分类（84.6% top-1）、目标检测和语义分割任务中超越Transformer架构（如Swin），同时保持计算高效性。该工作首次证明了纯卷积网络在自监督学习中的强大潜力，为视觉模型设计提供了新方向。
ConvNeXt-V2 模型训练全流程详解
gitblog_01021的博客
06-28 526
ConvNeXt-V2 作为新一代卷积神经网络架构，在计算机视觉领域展现了卓越的性能。本文将深入解析 ConvNeXt-V2 的训练流程，包括预训练和微调两个关键阶段，帮助读者全面掌握这一先进模型的训练方法。 ## 训练环境准备 在开始训练前，需要确保环境配置正确。ConvNeXt-V2 支持分布式训练，特别是在 SLURM 集群环境下，可以通过 submitit 工具实现多节点并行训练。对于...
【论文解读】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoder
weixin_50862344的博客
04-12 2836
提出了一个全卷积掩码的自动编码器框架和一个新的全局响应归一化（GRN）层。
视觉模型 ConvNeXt V2，结合纯卷积与MAE
ZILLIZ
01-20 876
ConvNeXt V2 结合MAE再出击！
ConvNeXt V2来了，仅用最简单的卷积架构，性能不输Transformer
gzq0723的博客
01-11 1143
2023点击蓝字 关注我们关注并星标从此不迷路计算机视觉研究院计算机视觉研究院专栏作者：Edison_GConvNeXt 模型更新了！公众号ID｜ComputerVisionGzq学习群｜扫码在主页获取加入方式论文地址：https://arxiv.org/pdf/2301.00808v1.pdf转自《机器之心》经过几十年的基础研究，视觉识别领域已经迎来了大规模视觉表征学习的新时代。预训练的大规模视...
【ConvNeXt V2】 借鉴MAE自监督学习
h661975的博客
07-25 1690
在本文中，作者介绍了一种新的 ConvNet 模型系列，称为 ConvNeXt V2，它涵盖了更广泛的复杂性。虽然架构变化很小，但它专门设计为更适合自监督学习。使用作者的全卷积Mask自动编码器预训练，作者可以显著提高纯 ConvNets 在各种下游任务中的性能，包括 ImageNet 分类、COCO 对象检测和 ADE20K 分割。onvNet 模型系列，称为 ConvNeXt V2，它涵盖了更广泛的复杂性。虽然架构变化很小，但它专门设计为更适合自监督学习。
ConvNeXt V2学习笔记
charles_zhang_的博客
01-05 8955
在改进的架构和更好的表示学习框架的推动下，视觉识别领域在21世纪20年代初实现了快速现代化和性能提升。例如，以ConvNeXt[52]为代表的现代ConvNets在各种场景中都表现出了强大的性能。虽然这些模型最初是为使用ImageNet标签的监督学习而设计的，但它们也可能受益于自监督学习技术，如蒙面自编码器(MAE)[31]。然而，我们发现，简单地结合这两种方法会导致性能不佳。在本文中，我们提出了一个全卷积掩码自编码器框架和一个新的全局响应归一化(GRN)层。
【YOLOv8】YOLOv8改进系列（3）----替换主干网络之ConvNeXt V2
熬夜秃顶中......
02-25 4969
YOLOv8改进系列（3）----替换主干网络之ConvNeXt V2
ConvNeXtV2 代码解读和框架整理
zsj540070的博客
11-03 2235
ConvNeXtV2 框架
convnext v2训练
02-24
### ConvNeXt V2 训练教程和指南 #### 准备环境 为了顺利运行ConvNeXt V2模型，需先设置好开发环境。这通常涉及安装Python以及必要的库文件。推荐使用Anaconda来管理虚拟环境，以便更好地控制依赖关系。 ```bash conda create --name convnext python=3.9 conda activate convnext pip install torch torchvision torchaudio ``` 对于特定版本的PyTorch和其他依赖项，请参照官方文档中的说明进行调整[^1]。 #### 获取源码与预训练权重 访问ConvNeXt项目的Git仓库下载最新版代码，并获取预训练好的模型参数作为初始化起点： ```bash git clone https://gitcode.com/gh_mirrors/co/ConvNeXt.git cd ConvNeXt wget URL_TO_PRETRAINED_WEIGHTS # 替换为实际链接 ``` 这里假设读者已具备基本的Linux命令行操作技能；如果遇到困难可以查阅相关资料补充基础知识。 #### 数据准备 准备好用于训练的数据集非常重要。考虑到ConvNeXt最初是在ImageNet-1K上进行了大量实验验证，因此建议也以此为基础开展工作。当然也可以针对具体应用场景收集定制化的图像样本集合。确保数据格式符合框架的要求，比如通过编写脚本来完成图片路径整理、标签映射等工作。 #### 修改配置文件 进入`configs`目录下找到适合自己的配置模板，按照需求修改超参数设定，如batch size, learning rate等。特别注意的是当引入新的组件（例如MAE）时可能还需要额外定义一些选项以支持新特性[^3]。 #### 开始训练过程 一切就绪之后就可以启动训练流程了。一般情况下只需执行如下指令即可触发整个计算管道： ```bash python train.py --config configs/default.yaml ``` 此过程中应密切监控GPU利用率、loss变化趋势等相关指标，必要时做出相应调整优化性能表现。 #### 测试评估效果 经过若干轮迭代后应当对最终得到的结果进行全面评测。利用测试集中未见过的真实样例来进行预测分析，统计各类别下的精度得分以及其他衡量标准，从而判断模型的有效性和泛化能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值