A ConvNet for the 2020 一篇总结性的论文

最新推荐文章于 2023-12-28 11:42:23 发布
最新推荐文章于 2023-12-28 11:42:23 发布
阅读量857 收藏 6
点赞数 3
分类专栏： 论文推荐 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nijiayan123/article/details/122492165
版权

最近在看论文时发现了一篇总结性的文章，推荐给大家最近一段时间transform 太火了，基本上大家都在用这些东西，传统CNN 用的反而少了起来，因此这篇论文提出了一些提高CNN 的方法，最后超过了大热的transform。这篇文章是ConVNet for the 2020.这是一篇总结性的论文。

大概扫一扫你会发现好像没什么创新点，好像文章说的东西你都懂啊？是的，可以理解这次提出的ConvNeXt其实就是ResNet的魔改，类似于打比赛刷榜那样，一点点trick不断地加，并用非常solid的实验验证了这些trick的有效性。那就一起来看看这些熟悉的trick是如何work的：

训练技巧

  • 多训练一会呗——ResNets从训练90个epoch加到300个epoch
  • 优化器更新换代了，别守着Adam，试试AdamW！
  • 数据增强扩充数据量：Mixup、Cutmix，RandAugment，RandomErasing
  • 正则化防过拟合：Stochastic Depth，Label Smoothing

一顿操作猛如虎，ResNet-50直接从76.1的精度提高到78.8

结构设计

  • 改一改每一阶段的block数量，ResNet-50从(3,5,6,3)改为(3,3,9,3)
  • ResNeXt化

    加深加宽

  • depthwise conv 代替 bottleneck中的 3x3卷积
  • 使用和Swin-T一样的网络宽度，从原来的64改为96

更大的感受野

transformer的感受野往往可以是global的，而cnn通常用比较小的卷积核，改！加大感受野

这里其实是为了和Swin-T对齐，并没有带来提升

细节决定成败

  • 激活函数也在更新换代，试着在卷积网络中也用一下GELU！虽然在这里也没提升
  • 真的有必要那么多激活函数吗？transformer中其实只有在MLP块中有一层激活函数。删减CNN中的激活函数！只要两层 1x1卷积层之间放激活函数
  • normalization也不是越多越好，删！
  • 用layer norm替代batch norm
  • 学习Swin Transformer在两个stage之间加一层下采样层，带来的问题是训练不稳定了，解决办法是多加点LN层： one before each downsampling layer, one after the stem, and one after the final global average pooling

 

skyfengye
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Review — ConvNeXt_ A ConvNet for the 2020s _ by Sik-Ho Tsang _ Jun, 2022 _ Medium
06-08
Review — ConvNeXt_ A ConvNet for the 2020s _ by Sik-Ho Tsang _ Jun, 2022 _ Medium
A ConvNet for the 2020s 详解
qq_38375203的博客
06-09 2820
前面个讲过了MobileNet系列，从V1到V3做了很多改进，效果也是越来越好。但是这些改进很多都是基于block来进行改进的，而这一问题就可以让我们直接将这个block用于其他backbone上面，并有着优秀的性能。在今年年初读到的这篇文章，当时就觉得很不错，也是仔细刨析了一下现在卷积和transformer的较量，给了我们坚定卷积的决心。在这篇文章中也是涉及到了前面中block中的一些改变。不过这些改变不是为了轻量型而做出的，在这里也是总结一下。感兴趣的小伙伴也可以看一下我前面这篇文章：MobileNe
【论文简述及翻译】A ConvNet for the 2020s(CVPR 2022)
qq_43307074的博客
10-14 4097
【论文简述及翻译】A ConvNet for the 2020s
A ConvNet for the 2020s 原理分析与解读
m0_61899108的博客
02-28 1048
前言 转载于：Vision Transformer , Vision MLP 超详细解读 (原理分析+代码解读) (目录) - 知乎 Vision MLP 超详细解读 (原理分析+代码解读) (四) - 知乎 ConvNeXt 可以看做是把 Swin Transformer 包括 ViT 的所有特殊的设计集于一身之后的卷积网络进化版，升级了 ResNet 架构，看看借助了2020年代 CV 设计范式之后的卷积网络的性能极限在哪里。这篇工作在年初炸起了CV圈子里又一股讨论的浪潮，因此本文从更加详细...
A ConvNet for the 2020s精度
最新发布
weixin_49053303的博客
12-28 241
在“视觉识别的咆哮20年代”以Vision Transformers（ViTs）的引入为开端，ViTs迅速取代了ConvNets成为最先进的图像分类模型。然而，普通的ViT在应用于对象检测和语义分割等一般计算机视觉任务时会遇到困难。而层次化的Transformers（例如Swin Transformers）重新引入了几个ConvNet先验条件，使得Transformers在作为通用视觉骨干的同时在各种视觉任务上展现出卓越的性能。
AConvNet for the 2020s
goodenough5的博客
03-28 223
"我们希望新的观察和讨论能够挑战一些共同的信念，并鼓励人们重新思考卷积在计算机视觉中的重要性。"
A simple ConvNet in 200 MATLAB lines.zip
07-23
标题 "A simple ConvNet in 200 MATLAB lines" 提示我们这可能是一个关于使用MATLAB实现简单卷积神经网络（Convolutional Neural Network, CNN）的教程或代码示例。MATLAB是一种广泛用于数值计算、图像处理和科学...
Simple_ConvNet_for_Rock_Paper_scissors_classification
04-01
标题 "Simple_ConvNet_for_Rock_Paper_Scissors_classification" 指的是一项使用卷积神经网络（Convolutional Neural Network, CNN）对石头、剪刀、布游戏手势进行分类的任务。在这个项目中，开发者可能创建了一个...
ConvNet_Uncertainty：使用Dropout计算不确定性
02-17
在深度学习领域，神经网络模型的不确定性估计是一个重要的研究方向，尤其在医疗诊断、自动驾驶等对安全性要求极高的应用中。本项目“ConvNet_Uncertainty”探讨了如何利用Dropout技术来计算和理解卷积神经网络...
frustum-convnet:用于 3D 对象检测的 F-ConvNet 的 PyTorch 实现
05-31
Frustum ConvNet：Sliding Frustums 聚合局部点特征以进行 Amodal 3D 对象检测这个存储库是我们 IROS 2019 论文 、 。引文如果您发现这项工作对您的研究有用，请考虑引用。 @inproceedings { wang2019frustum , ...
A ConvNet for the 2020s
我的博客
06-07 807
重新审视设计空间并测试了纯ConvNet可以实现的极限。我们逐步将标准ResNet“现代化”成为一个视觉Transformer的设计，并在过程中发现了几个关键组成部分，它们对性能差异做出了贡献
[论文阅读]A ConvNet for the 2020s
qq_41776136的博客
09-18 463
视觉识别的咆哮的20年代开始于ViTs的引入，它很快取代了卷积神经网络，成为最先进的图像分类模型。另一方面，一个原始的ViT在用于一般的比如目标识别和语义分割的计算机视觉任务的时候面临困难。层次Transformer(例如，Swin-Transformer)，它重新引入了几个卷积神经网络先验，使Transformer作为通用视觉主干实际上可行，并在各种视觉任务中表现出卓越的性能。然而，这种混合方法的有效性仍然很大程度上归功于Transformer的内在优势，而不是卷积固有的归纳偏差。
【论文泛读】ConvNeXt：A ConvNet for the 2020s（新时代的卷积）
风信子的猫Redamancy的快乐星球
01-07 2657
在新时代中，是否卷积神经网络就已经被时代淘汰了呢！FaceBook研究所的“A ConvNet for the 2020s”，即ConvNeXt 这篇文章，通过借鉴 Swin Transformer 精心构建的 tricks，卷积在图像领域反超 Transform。这些技巧对分类问题下游downstream的问题也有效果。简单的来说，似乎就是说明，用Swin Transformer的丹方，在卷积神经网络中炼丹也有很好的效果。
论文分享 A ConvNet for the 2020s
Klay Ye
05-24 929
视觉识别的“咆哮的 20 年代”始于 Vision Transformers (ViTs) 的引入，它迅速取代了 ConvNets，成为最先进的图像分类模型。另一方面，vanilla ViT 在应用于对象检测和语义分割等一般计算机视觉任务时面临困难。正是层次化的 Transformers（例如 Swin Transformers）重新引入了几个 ConvNet 先验，使得 Transformers 作为通用视觉骨干实际上可行，并在各种视觉任务上展示了卓越的性能。
CNN超越Transformer，Convnext纯卷积架构：A ConvNet for the 2020s
weixin_44902604的博客
02-16 647
随着Vision Transformer（ViTs）的引入，超越了卷积神经网络（CNN），并且在各项计算机视觉任务中表现很优秀，成为了最先进的图像分类模型。在这篇论文中，作者重新设计了纯卷积神经网络（CovNext），将标准的ResNet“现代化”，以此来实现transformer的设计，并改变了几个关键组件，来提高模型的性能。
附代码 ConvNeXts：A ConvNet for the 2020s
weixin_44543648的博客
03-20 5693
A ConvNet for the 2020s 论文解读 代码链接： https://github.com/facebookresearch/ConvNeXt 参考链接：https://zhuanlan.zhihu.com/p/458016349 摘要： 卷积网络和Swin Transformer 的不同和相似：它们都具有相似的归纳偏差，但在训练过程和宏观/微观架构设计上存在显著差异。在这项工作中，我们研究了卷积网络和Transformer之间的架构区别，并试图在比较网络性能时识别混杂变量。我们的研究旨在弥
a convnet for the 2020s
03-16
卷积神经网络 (Convolutional Neural Network, ConvNet) 是目前用于图像处理、语音识别、自然语言处理等领域的主流深度学习模型之一。在 2020 年代，ConvNet 将继续发挥重要作用，并在更多的应用场景中得到应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值