大kernel size的卷积神经网络设计原则（实验性结果）

最新推荐文章于 2023-01-07 13:21:55 发布
最新推荐文章于 2023-01-07 13:21:55 发布
阅读量329 收藏
点赞数
分类专栏： 论文阅读 文章标签： cnn 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43108680/article/details/126380768
版权

结论来源：Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs

  1. 大kernel size的DW卷积会是比较高效的；
  2. 对于大kernel size的网络，必须加入shortcut连接；
  3. 引入小kernel的重参数化技术；（RepVGG)
  4. 大kernel size的设计在下游任务上的提升比ImageNet大；
  5. 在小feature map上也可以应用大kernel；
望舒使先驱兮
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
实录 | MegEngine 大 Kernel 卷积工程优化实践
旷视开发者技术社区
04-06 420
本篇整理自 3 月 19日 “Large Kernel Makes CNN Great Again” 专题 Meetup 中《MegEngine 大 Kernel 卷积工程优化实践》分享。点击文末“阅读原文”查看视频回顾，在进度条01:10:55 处哦。从卷积到矩阵乘矩阵乘（GEMM）具有计算密度大和易并行等优良特点，传统领域例如芯片产业和高性能计算领域往往将 GEM...
卷积神经网络之卷积
01-06
本节课我们将会详细的介绍一下卷积神经网络的运算流程， 首先我们来看一下对于2d的图片数据它是怎么进行卷积运算的？比如说对于这里的image，我们把它起了个名字叫做image函数，他俩坐标是x和y坐标分别代表了这个x...
【图像语义分割】Large Kernel Maters--Improved Semantic Segmentation by Global ConvNet
Shwan_ma的博客
09-23 794
摘要：目前流行的网络架构往往通过堆积小的卷积核（stack small filters），因为在相同计算量下，stack small filters往往比large kernel更加有效。然而在图像语义分割这块，我们需要做一个dense per-pixle prediction， 我们发现大内核在同时实现localization和classification的时候能够起到重要的作用。在这个设计原则下
CNN卷积神经网络之ConvNeXt
qq_41917697的博客
02-18 7249
CNN卷积神经网络之ConvNeXt前言改进内容1 训练技巧2 宏观设计3 ResNeXt-ify4 Inverted Bottleneck5 Large Kernel Sizes67 前言 《A ConvNet for the 2020s》 论文地址：https://arxiv.org/abs/2201.03545 pytorch代码：https://github.com/facebookresearch/ConvNeXt 最近Transfomer在CV领域大放异彩，颇有一种要碾压CNN的气势。但是作者觉
分组卷积与dw卷积
ab0902cd的博客
12-28 2072
分组卷积、可分离卷积
【论文泛读】ConvNeXt：A ConvNet for the 2020s（新时代的卷积）
风信子的猫Redamancy的快乐星球
01-07 2621
在新时代中，是否卷积神经网络就已经被时代淘汰了呢！FaceBook研究所的“A ConvNet for the 2020s”，即ConvNeXt 这篇文章，通过借鉴 Swin Transformer 精心构建的 tricks，卷积在图像领域反超 Transform。这些技巧对分类问题下游downstream的问题也有效果。简单的来说，似乎就是说明，用Swin Transformer的丹方，在卷积神经网络中炼丹也有很好的效果。
图像处理中的深度卷积神经网络
01-20
输出尺寸（oho_hoh​,owo_wow​）与输入尺寸（nhn_hnh​,nwn_wnw​）、核尺寸（khk_hkh​,kwk_wkw​）、padding（php_hph​,pwp_wpw​）和stride（sws_wsw​,shs_hsh​）的关系 oh=(nh+ph−kh+sh)/show=(nw+pw−kw+...
卷积神经网络基础与经典模型-Task4
01-06
1. 卷积神经网络基础 从本节讲解才知道，卷积神经网络中的Conv2d函数中，实现的滤波器与图像element-wise相乘并累加其实是互相关运算，二维互相关的解释如下： 二维互相关（cross-correlation）运算的输入是一个二维...
卷积神经网络基础（CNN)
01-06
文章目录卷积神经网络基础二维互相关运算二维卷积层互相关运算与卷积运算特征图和感受野填充和步幅填充步幅多输入通道和多输出通道多输入通道多输出通道1×1卷积层卷积层与全连接层的比较卷积层的pytorch实现池化层...
基于深度卷积神经网络的图像分类识别方法.pdf
09-25
本文的实验结果表明，基于深度卷积神经网络的图像分类识别方法可以取得良好的实验结果，提高图像检测的准确度。未来，基于深度卷encvolution神经网络的图像分类识别方法将会在图像处理技术中扮演着越来越重要的角色...
图像分割--Large Kernel matters（GCN）
zk_ken的博客
05-29 6213
论文地址：https://arxiv.org/abs/1703.02719论文代码：https://github.com/ZijunDeng/pytorch-semantic-segmentation [PyTorch]参考文献：https://blog.csdn.net/bea_tree/article/details/609775121. Introduction本文的架构是：使用 ResNe...
Padding，Kernel-size，stride关系公式
jzrita的博客
03-25 9211
记录下公式，总忘记：像素宽度W，Padding size：P，Kernel size：K，Stride ： S，公式为Wn+1=(Wn+P∗2−K)/S+1
旷视最新-Large Kernel Matters —— Improve Semantic Segmentation by Global Convolutional Network
bea_tree的博客
03-09 1万+
一句话总结 如文章名字所言，本文主要强调大的kernel的重要性,pascal上82.2%。文章的试验和分析还是挺细致的。 故事背景文章认为，classification和localization之间是有冲突的，我们平时所用的卷积分割网络，在提高分割效果的同时，削弱了分类的能力。文中认为通过设置大的感受野可以获得featuremap与pixel score之间的densely connec
大核注意力Large Kernel Attention(LKA)
m0_46507285的博客
03-01 5580
这种分解方式也被叫做大核注意力(Large Kernel Attention)，即LKA。如上图所示，一个很大kernel size的卷积被分解成一个Depth-wise卷积+一个Depth-wise空洞卷积+一个1× \times× 1卷积。这样，就可以大大减少FLOPs和参数量。很有效地解决了小核卷积的local性。 class AttentionModule(nn.Module): def __init__(self, dim): super().__init__()...
20211001:Trick篇-MixConv
微风❤水墨
09-30 292
论文：MixConv: Mixed Depthwise Convolutional Kernels 论文： https://arxiv.org/abs/1907.09595 代码：https://github.com/linksense/MixNet-PyTorch[非官方] 代码：https://github.com/leaderj1001/Mixed-Depthwise-Convolutional-Kernels[非官方] Trick: 谷歌出品，轻量化网络，值得学习借鉴 要点记录： ...
A ConvNet for the 2020s
Le0v1n 的博客
05-31 2057
A ConvNet for the 2020s
一文掌握图像超分辨率重建（算法原理、Pytorch实现）——含完整代码和数据
热门推荐
钱彬的博客
02-26 15万+
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
CVPR2022 | A ConvNet for the 2020s & 如何设计神经网络总结
CV技术指南（微信公众号）
06-13 673
欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。论文：https://arxiv.org/pdf/2201.03545.pdf代码: https://github.com/facebookresearch/ConvNeXtVIT问世以后，Swin Transformer在图像领域（分类下游任务）的全面大幅度超越 CNN 模型，仿佛印证了 Attetion 论文中 “Attention Is All You Need ”。ConvNext这篇论文，通过借鉴Sw
目标分割(八)Large Kernel Matters---GCN讲解
Raywit的博客
02-28 4877
目标分割GCN讲解0. ABSTRACT1. INTRODUCTION2. Related WorkReference 原文：GCN 收录：CVPR 2017 (IEEE Conference on Computer Vision and Pattern Recognition) 代码：GCN-github   0. ABSTRACT   在如今网络架构设计中，在...
卷积神经网络中的kernel_size修改之后对模型有多大影响
最新发布
09-12
卷积神经网络中的kernel_size是卷积核的大小，即过滤器的大小。当kernel_size增大时，模型可以捕捉到更大的特征，但同时会增加参数的数量和计算复杂度，并且可能导致过拟合。当kernel_size缩小时，模型可以捕捉到更...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值