浅读CVPR论文A ConvNet for the 2020s

ʚ๑Brave ิboy๑ɞ

已于 2023-02-26 12:45:17 修改

阅读量161

点赞数 3

分类专栏： CVPR2022 文章标签：深度学习神经网络人工智能 transformer

于 2023-02-26 12:44:50 首次发布

本文链接：https://blog.csdn.net/qq_52954371/article/details/129224333

版权

论文链接这篇文章的关键点在于，测试了纯ConvNet可以达到的极限，并发现了几个有助于性能差异的关键组件。提出了一种纯ConvNet模型，称为ConvNeXt，它可以与transformer在准确性和可扩展性方面相媲美，同时保持标准ConvNet的简单和高效。

文章目的

计算机视觉任务的性能受到深度学习模型的改进，特别是transformer模型的出现。transformer模型的出现使得计算机视觉任务的性能得到了显著提升，但是它们也有一些缺点，如参数量大、计算量大、训练时间长等。因此，文章的目的是探索纯ConvNet模型的潜力，以提高计算机视觉任务的性能。

文章主题

这篇文章探讨了ConvNeXt，一种纯卷积神经网络模型，它可以与Swin Transformers在视觉识别任务上相媲美，同时保留标准卷积网络的简单性和效率。文章还提供了ImageNet-1K训练和ImageNet-22K预训练设置，并且提供了ImageNet-1K的微调设置。文章还提出了一系列模型设计决策，如宏观设计，ResNeXt，反向瓶颈，大核尺寸和各种层次微设计，以及使用GELU替换ReLU，以及使用单个GELU激活，替换BatchNorm和使用单独的下

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ʚ๑Brave ิboy๑ɞ

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

深度学习论文: A ConvNet for the 2020s及其PyTorch实现

mingo_敏

01-18

1856

深度学习论文: A ConvNet for the 2020s及其PyTorch实现 A ConvNet for the 2020s PDF: https://arxiv.org/pdf/2103.09950.pdf PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks 1 概述 2 Modernizing a ConvNet

A ConvNet for the 2020s（2022 CVPR）

朴实无华的研究生活

02-06

1087

本文介绍了一种名为ConvNeXt的纯卷积神经网络模型，该模型通过逐步改进标准ResNet架构，实现了与层级Transformer模型（如Swin Transformer）相当的性能。研究者通过调整网络设计、训练技术和模块配置，使ConvNeXt在图像分类、目标检测和语义分割等多个视觉识别任务上表现出色，甚至优于Swin Transformer。ConvNeXt模型不仅保持了传统卷积网络的简洁性和高效性，还在大规模预训练数据下展现了良好的扩展性和鲁棒性。

1 条评论您还未登录，请先登录后发表或查看评论

【论文简述及翻译】A ConvNet for the 2020s(CVPR 2022)

qq_43307074的博客

10-14

5952

【论文简述及翻译】A ConvNet for the 2020s

【论文解读】A ConvNet for the 2020s

weixin_50862344的博客

03-26

284

探索是由一个关键问题引导的：Transformers中的设计决策如何影响ConvNets的性能？

论文阅读：A ConvNet for the 2020s

m0_56224713的博客

11-08

744

SWIN Transformer重新引入了几个，使得Transformer实际上可以作为通用的视觉主干，并在各种视觉任务上表现出卓越的性能。然而，这种混合方法的有效性仍然很大程度上归功于变压器的内在优势，而不是卷积的内在归纳偏差。在这项工作中，我们重新审视了设计空间，并测试了纯ConvNet所能达到的极限。我们逐渐将一个标准的Resnet“现代化”到vision Transformer的设计中，并发现了几个。

A ConvNet for the 2020s 论文笔记

Tianchao龙虾

01-17

5175

A ConvNet for the 2020s 论文链接： https://arxiv.org/abs/2201.03545 一、 Problem Statement 现在Transformer大行其道，很多纯卷积的网络也不断的革新。这篇文章分析transformer的优势，也借鉴了一些新的卷积网络的点，基于ResNet50和ResNet200逐步提升精度。二、 Direction 作者认为，Transformer的优势在于其multi-head self-attention中优异的scaling beh

CVPR 2022 论文列表（持续更新）

热门推荐

gbstack08的专栏

03-05

1万+

本文包括论文链接及代码关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为CSDN的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro

一文看尽 CVPR2022 最新 22 篇论文（附打包下载）

极市平台的技术博客

03-17

5859

CVPR 2022 已经放榜，本次一共有2067篇论文被接收，接收论文数量相比去年增长了24%。由于每年的 CVPR 全部论文以及相关细节都需要等到六月会议召开才会正式公布，在这之前，为了让大家更快地获取和学习到计算机视觉前沿技术，极市对CVPR022 最新论文进行追踪，包括分研究方向的论文、代码汇总以及论文技术直播分享。 CVPR 2022 论文分方向整理会在极市社区进行更新，项目地址：https://bbs.cvmart.net/articles/6124 以下是最新更新的 CVPR 2022 论文一览

【论文阅读】ConNeXt —— A ConvNet for the 2020s

qq_43456016的博客

03-07

478

神经网络学习过程的本质就是为了学习数据分布，如果我们没有做归一化处理，那么每一批次训练数据的分布不一样，从大的方向上看，神经网络则需要在这多个分布中找到平衡点，从小的方向上看，由于每层网络输入数据分布在不断变化，这也会导致每层网络在找平衡点，显然，神经网络就很难收敛了。当然，如果我们只是对输入的数据进行归一化处理（比如将输入的图像除以255，将其归到0到1之间），只能保证输入层数据分布是一样的，并不能保证每层网络输入数据分布是一样的，所以也需要在神经网络的中间层加入归一化处理。

Visualizing and Understanding ConvNet论文心得

Honkee_的专栏

01-23

1205

摘要这篇文章介绍了一种方法去探究卷积神经网络是如何用中间层的特征用作分类，通过特征层的可视化，有利于我们去修正我们的模型的参数。这篇文章的主要内容是：通过特征可视化的方法，修改了网络的结构，提高了Krizhevsky的ImageNet的分类准确率。将ImageNet训练得到的网络应用到Caltech-101和Caltech-256数据集上分类，得到了最好的效果。但是这篇文章没有谈到怎么具体的去

【论文泛读】ConvNeXt：A ConvNet for the 2020s（新时代的卷积）

风信子的猫Redamancy的快乐星球

01-07

2892

在新时代中，是否卷积神经网络就已经被时代淘汰了呢！FaceBook研究所的“A ConvNet for the 2020s”，即ConvNeXt 这篇文章，通过借鉴 Swin Transformer 精心构建的 tricks，卷积在图像领域反超 Transform。这些技巧对分类问题下游downstream的问题也有效果。简单的来说，似乎就是说明，用Swin Transformer的丹方，在卷积神经网络中炼丹也有很好的效果。

ConvNet---20年代的卷积神经网络

weixin_50060428的博客

06-01

7991

视觉识别的“咆哮的 20 年代”始于 Vision Transformers (ViTs) 的引入，它迅速取代了 ConvNets，成为最先进的图像分类模型。另一方面，普通的 ViT 在应用于目标检测和语义分割等一般计算机视觉任务时面临困难。正是分层 Transformer（例如 Swin Transformers）重新引入了几个 ConvNet 先验，使得 Transformer 作为通用视觉骨干实际上可行，并在各种视觉任务上表现出卓越的性能。

【论文阅读】ConvNet Architecture Search for Spatiotemporal Feature Learning

zzmshuai的博客

12-12

3194

【论文阅读】ConvNet Architecture Search for Spatiotemporal Feature Learning 这是一篇和I3D同一时间的论文，论文的作者就是提出C3D网络的那个人，本文也是通过实验探索了更优的3D网络结构，提出了一种Res3D网络模型，该网络比C3D网络的FLOPs小两倍，比C3D网络的参数量小2倍，同时模型的性能也要好于C3D。论文地址：下载链接 ...

A ConvNet for the 2020s 论文解读

qq_42105426的博客

01-26

5744

引言 ViT提出之后（只针对分类任务），Swin Transform 在图像领域（分类下游任务）的全面大幅度超越 CNN 模型，仿佛印证了 Attetion 论文中 “Attention Is All You Need ”。当读到 Attetion 论文中这句话时，不自觉的回忆起电视剧中，释迦摩尼出生时，一手指天，一手指地，然道：“天上地下，唯我独尊”。 ConVNeXt 这篇文章，通过借鉴 swin TransForm 精心构建的 tricks，卷积在图像领域反超 Transform。这些技巧对分

CV论文笔记（一） 3D ConvNets（C3D）

ROM的博客

10-24

6778

参考论文 D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, Learning Spatiotemporal Features with 3D Convolutional Networks, ICCV 2015 source code 内容介绍 Abstract 主要谈及Three-fold(三个方面)

论文笔记--ConvNet Architecture Search for Spatiotemporal Feature Learning

Never-guess的博客

01-28

1449

这是Du Tran在Learning Spatiotemporal Features with 3D Convolutional Networks之后发表的续篇，相当于C3D的第二个版本，C3D-resnet.我个人觉得这篇文章除了主要探讨C3D-resnet以外，更重要的是对CNN卷积结构在时空特征表现上的一个深入探讨。大部分工作还是基于UCF-101，而且从头训练，很利于在硬件条件有限的情况下

深度学习篇---网络结构

2301_79556402的博客

04-01

1113

本文简单介绍了，Pytorch框架下的一款深度学习网络框架的配置。

深度学习四大核心架构：神经网络（NN）、卷积神经网络（CNN）、循环神经网络（RNN）与Transformer全概述

gorgor在码农

03-26

1402

NN → 类比：盲人摸象，每个神经元独立感知全局特征 → 局限：输入图像需展平为向量，丢失空间信息（如将28x28图片变成784维向量）CNN → 类比：人类视觉系统，先识别边缘→形状→物体 → 实战：用3x3卷积核扫描猫的图片，提取耳朵、胡须等局部特征RNN → 类比：阅读理解，需记住前文才能理解后文 → 痛点：输入句子“The cat sat on the mat”，到第6个单词时可能已遗忘“cat”Transformer → 类比：团队协作，每个单词直接关注全局上下文 → 优势：处理句

【算法岗面试题】深度学习中如何防止过拟合？