ConvNeXt：Pytorch实现

最新推荐文章于 2024-07-25 14:52:49 发布
最新推荐文章于 2024-07-25 14:52:49 发布
阅读量768 收藏 1
点赞数 1
分类专栏： 机器视觉 深度学习 文章标签： pytorch 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36758270/article/details/130092697
版权

ConvNeXt网络：超越Transformer的CNN结构


开源代码： ConvNeXt

1. 引言

自从ViT(Vision Transformer)在CV领域大放异彩，越来越多的研究人员开始拥入Transformer的怀抱。回顾近一年，在CV领域发的文章绝大多数都是基于Transformer的，而卷积神经网络已经开始慢慢淡出舞台中央。卷积神经网络要被Transformer取代了吗？也许会在不久的将来。今年(2022)一月份，Facebook AI Research和UC Berkeley一起发表了一篇文章A ConvNet for the 2020s，在文章中提出了ConvNeXt纯卷积神经网络，它对标的是2021年非常火的Swin Transformer，通过一系列实验比对，在相同的FLOPs下，ConvNeXt相比Swin Transformer拥有更快的推理速度以及更高的准确率，在ImageNet 22K上ConvNeXt-XL达到了87.8%的准确率，参看下图(原文表12)。看来ConvNeXt的提出强行给卷积神经网络续了口命。

2. ConvNeXt

ConvNeXt结构整体而言没有任何新的结构，是基于现有网络结构实现的。ConvNeXt整体网络结构图如下所示。
在这里插入图片描述
从上图中可以看出，ConvNeXt结构与Resnet网络结构是类似的，相对于Swin-T而言

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sjx_alo
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
convnext的代码-pytorch框架-cv中可以使用
03-02
convnext的代码-pytorch框架-cv中可以使用
ConvNeXt（CVPR 2022）论文解读
00000cj的博客
06-01 1924
本文重新审视了ConvNet的设计空间，并测试了一个纯ConvNet能够达到的性能极限。作者从标准的ResNet出发，逐步“现代化”其设计，使其接近视觉Transformer的设计，并在此过程中发现了一些关键组件，这些组件有助于缩小性能差距。
浅谈ConvNeXt（Pytorch）
__不想写代码__的博客
03-05 6930
卷积的愤怒 ConvNeXt
ConvNext-Pytorch实现心肾脾胰器官分割
qq_40602790的博客
03-31 2795
一、论文 论文介绍：https://mp.weixin.qq.com/s/XrWkD0UEomnt0l-8dc5hWg 原文：https://arxiv.org/abs/2201.03545 我的code（四分类分割）：ConvNext_Seg: Pytorch复现ConvNext网络，实现心肾脾胰器官分割(2D) (gitee.com) 作者认为VIT的优异之处在于它本身的独特优异。这里介绍的ConvNeXt就是CNN的一个很好的反击，它在保持CNN结构的基础之上，通过“抄袭”SwinT...
Convnext实现（pytorch）
m0_74982304的博客
04-19 1022
整体：类似于patchify，使用卷积核大小为4*4，步距为4的卷积层的stem → LN → stage1 → 类似于patchmerging的downsample，使用卷积核大小为2*2，步距为2 → stage2 → ...... → 全局平均池化+LN+Linear。
使用PyTorch复现ConvNext：从Resnet到ConvNext的完整步骤详解
deephub
05-09 4350
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QzSpL26A-1652067254818)(http://images.overfit.cn/upload/20220509/bbdccec911fc47e286ee2361fd9f8810.png)] ConvNext论文提出了一种新的基于卷积的架构，不仅超越了基于 Transformer 的模型（如 Swin），而且可以随着数据量的增加而扩展！今天我们使用Pytorch来对其进行复现。下图显示了针对不同数据集/模型大小的
Pytorch之ConvNeXt图像分类
风间琉璃的博客
10-12 1988
CNN自1989年以来一直存在，当时第一个多层CNN，称为ConvNet，由Yann LeCun开发。该模型可以执行视觉认知任务，例如识别手写数字。1998年，LeCun开发了一种改进的ConvNet模型，称为LeNet。由于其在光学识别任务中的高精度，LeNet在发明后不久就被工业使用。从那时起，CNN一直是工业界和学术界最成功的机器学习模型之一。下图显示了 CNN 生命周期中架构发展的简要时间表，从 1989 年一直到 2020 年，
ConvNeXt：A ConvNet for the 2020s——模型简述
gongyuandaye的博客
07-27 575
这篇论文对标去年的best paper：Swin Transformer，在相同的flops下具有更高的准确率和推理速度，它从各个方面借鉴了Swin的设计模式和训练技巧（如AdamW优化器），并一步步的将Swin的策略纳入到resnet的设计中，下图清晰地给出了模型上的一步步改动所引发的准确度的变化：...
（pytorch进阶之路）ConvNeXt论文及实现
qq_19841133的博客
08-01 3928
block层，没有4个stage的概念了，不同stage之间也没有下采样了，3+3+9+3一共18个block，block都是dim=384，每个block里面都是3层，第一层是dim=384的depth-wise二维卷积，第二层1×1的dim=384×4的point-wise卷积，第三层是1×1的dim=384的point-wise卷积，输入和最后一层输出进行残差连接，一共进行18次。..................
（机器学习深度学习常用库、框架|Pytorch篇）第三节：Pytorch之torchvision详解
快乐江湖的博客
01-03 1073
是Pytorch的一个图形库，主要用来构建计算机视觉模型，由以下四个部分构成：包括一些加载数据的函数和常用的数据集接口：包含常用的模型结构（含预训练模型），例如AlexNet、ResNet等等：包含一些常见的图片变换，例如裁剪、旋转等等：其他用法这里的自定义数据集类指的主要是，它继承自，后者又继承自，而则是的子类以数据集为例说明如何使用，这里的我已经将其转换为png格式存储下载链接。
论文复现：Pytorch实现VDSR
03-15
3.模型实现：pytorch搭建vdsr网络。 4.训练：参数与论文中完全一致，与github上的参考代码不同。 5.测试：PSNR评估和图像可视化，与Bicubic双三次插值对比。 资源对应文章：...
chatbot_seq2seq:pytorch实现对话系统，参考官网项目
03-11
《基于PyTorch实现的Chatbot_seq2seq对话系统详解》 在当今信息化社会，人工智能技术正在逐步渗透到我们生活的方方面面，其中对话式聊天机器人（Chatbot）作为人机交互的重要载体，扮演着愈发重要的角色。本文将...
pytorch-center-loss：Pytorch实现中心损失
02-05
火炬中心损失Pytorch实现中心损失的方法： （ ）也使用此损失函数。开始吧克隆此仓库并运行代码$ git clone https://github.com/KaiyangZhou/pytorch-center-loss$ cd pytorch-center-loss$ python main.py --eval-...
DeshadowPytorch:pytorch实现纸张阴影
04-30
DeshadowPytorch pytorch实现纸张阴影
边做边学深度强化学习：PyTorch程序设计实践 迷宫 Q-Learning
09-02
边做边学深度强化学习：PyTorch程序设计实践 迷宫 Q-Learning
ConvNeXt：手把手教你改模型
weixin_40920183的博客
01-20 1366
作者：镜子（香港中文大学 计算机科学硕士）本文经过作者同意转载A ConvNet for the 2020s我愿称之为2022年cv算法工程师抄作业必备手册，手把手教你改模型，把ResNe...
【PyTorch】单目标检测项目部署
Frost_Descent的博客
07-23 502
详细参照前文【PyTorch】单目标检测项目import os# 定义一个函数，用于将a列表中的元素除以b列表中的对应元素，返回一个新的列表# 使用zip函数将a和b列表中的元素一一对应# 返回新的列表return div# 定义一个函数，用于将a列表中的元素乘以b列表中的对应元素，返回一个新的列表# 使用zip函数将a和b列表中的元素一一对应# 返回新的列表return div# 定义一个函数，用于调整图像和标签的大小# 获取原始图像的宽度和高度# 获取目标图像的宽度和高度。
【Pytorch实战教程】内存泄漏以及Pytorch中内存泄露的注意事项
最新发布
惊鸿若梦一书生
07-25 237
`内存泄漏`是指在计算机`程序运行过程中`，`动态分配`的`内存`由于某些原因`没有`被释放或回收，导致这些内存块`无法`再被使用或重新分配。
在pytorch里面怎么用DW卷积
07-27
在 PyTorch 中，使用 DW（Depthwise Convolution）卷积可以通过使用 `nn.Conv2d` 来实现。DW卷积是一种轻量级卷积操作，它在每个输入通道上分别应用卷积核，可以有效减少参数量。 下面是一个使用 DW卷积的示例代码： ```python import torch import torch.nn as nn # 定义一个包含DW卷积的模型 class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.dwconv = nn.Conv2d(in_channels=3, out_channels=3, kernel_size=3, stride=1, padding=1, groups=3) self.relu = nn.ReLU() def forward(self, x): x = self.dwconv(x) x = self.relu(x) return x # 创建模型实例 model = MyModel() # 创建输入数据 input_data = torch.randn(1, 3, 32, 32) # 假设输入数据为 32x32 大小的 RGB 图像 # 前向传播 output = model(input_data) # 输出结果大小 print(output.size()) ``` 在上述示例代码中，我们定义了一个包含 DW卷积的模型 `MyModel`，其中 `nn.Conv2d` 的参数 `groups` 设置为输入通道数（这里是3），这样就会对每个通道分别应用卷积核。注意，DW卷积的输入通道数和输出通道数应该相等。 希望能帮到你！如有其他问题，请继续提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值