大卷积核的应用

最新推荐文章于 2024-06-14 18:12:29 发布
最新推荐文章于 2024-06-14 18:12:29 发布
阅读量600 收藏 2
点赞数
分类专栏： 深度学习笔记 语义分割 文章标签： 卷积核 特征提取 参数量 深度学习 网络结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tuanzi2809/article/details/123183123
版权

大卷积核与小卷积核堆叠

在这里插入图片描述
右图所示，大卷积核在对输入图像进行下采样的时候能够有效减少参数量。
而小卷积核在最后几层对多通道特征进行输出的时候具有大幅减少参数量的优势。

如何使用大小卷积核

在网络最初开始的部分，第一层左右使用大卷积核对特征进行提取，节约参数量
在网络结束部分，对特征进行输出的时候使用小卷积核进行特征输出，节约参数量

地表最菜研究生
关注
专栏目录
变形卷积核、可分离卷积？卷积神经网络中十大拍案叫绝的操作。
mmc2015的专栏
08-31 2万+
总结的非常好，故转来，如果侵权，请告知，会及时删掉。 大家还是去看原文好，作者的文章都不错： https://zhuanlan.zhihu.com/p/28749411 https://www.zhihu.com/people/professor-ho/posts 写文章 变形卷积核、可分
大卷积核的思考
skyfengye的博客
07-17 1387
前段时间我看到了一篇讨论大卷积核的论文RepLKNet这个论文讨论了大卷积核的作用，今天我又在网上看到了一篇类似的论文。看到这个我突然想到，以前我们在卷积神经网络中一些比较常用的或者习惯的思维，有时候可以修改修改，也许也可以获得不一样的效果。具体的论文细节大家可以自己去看论文，但是看到上面的一个图，大家就应该明白是怎么回事了，作者把大的卷积核拆开来使用了。这篇文章讨论了更大的卷积核达到了51×51....
RepLKNet论文详解:31×31的超大卷积核模型
Zosse的博客
09-25 4245
（1）大卷积有更大的感受野（2）大卷积能够学到更多的形状信息（3）密集（普通）卷积和空洞卷积空洞卷积是一个常用的扩大卷积范围的方法，论文对空洞深度卷积和普通深度卷积进行了对比，尽管最大感受域可能一样，但空洞深度卷积的表达能力要弱很多，准确率下降非常明显，也就是说虽然空洞卷积的感受域较大，但其计算用的特征非常少。
大卷积核：More ConvNets in the 2020s:Scaling up Kernels Beyond 51 × 51 using Sparsity
mytzs123的博客
07-21 181
通过各种任务的评估，包括ImageNet分类[12]、ADE20K上的语义分割[103]和PASCAL VOC 2007上的对象检测[23]，SLaK比CNN先驱（如ResNe（X）t[33，94]和ConvNeXt[56]以及基于注意力的模型（如ImageNet上的Swin Transformer[55]）具有更高的准确性。自[25，44，45]发明以来，卷积神经网络[42，70，33，35，34，94，75]在过去几十年中一直是机器学习最不可或缺的架构之一。这带来了显著的性能提高，在极端的。
大核卷积及其计算性能优化
m0_74043494的博客
01-25 1521
结构重参数化是一种训练时和推理时的动态结构调整技术，它可以在训练时使用小核卷积来模拟大核卷积的效果，然后在推理时将小核卷积折叠为大核卷积，从而保持模型的性能和效率。前面Table3的结果表明：对于ImageNet分类卷积核从3提升到9带来的性能提升为1.33%，而Cityscapes的性能提升则达到了3.99%。从上表可以看到：尽管最后阶段的卷积已有包含非常大的感受野，进一步提升感受野还可以进一步提升下游任务的性能。大核卷积的实用往往伴随着性能与速度的下降，为此，我们总结了5条大核卷积高效使用的指标方针。
pytorch 自定义卷积核进行卷积操作方式
09-18
在实际操作中，我们常常需要将自定义卷积核封装成一个类，以便能够嵌入到更大的网络结构中。例如，创建一个名为GaussianBlur的类，继承自nn.Module。在这个类的构造函数__init__中，我们初始化自定义的卷积核，并将...
1_生成对应特征图_图像卷积_用numpy完成图像卷积运算_自定义卷积核_
10-03
首先，卷积是通过将一个小型的可学习滤波器（也称为卷积核）在图像上滑动并应用点积操作来完成的。这个过程可以理解为滤波器在图像上扫过，每个位置上滤波器与图像子区域的乘积和即为该位置的新像素值。卷积核通常...
可变卷积核_人工智能_
09-29
使用可变卷积核，模型能够灵活地适应输入数据的变化，对于处理尺度变化大或者需要多层次特征提取的任务尤其有用。 在提供的压缩包文件中，有三个Python脚本：test.py、train.py、train2.py，这些很可能是实现可变...
浅谈pytorch卷积核大小的设置对全连接神经元的影响
09-18
卷积核的大小决定了能从输入数据中提取的特征的尺度，例如较小的卷积核会提取局部的、细节丰富的特征，而较大的卷积核则能够提取更为全局的特征。 接下来，我们具体分析卷积核大小对全连接层的影响。在CNN中，经过...
基于稀疏卷积核的卷积神经网络研究及其应用.pdf
09-26
基于稀疏卷积核的卷积神经网络研究及其应用.pdf 基于稀疏卷积核的卷积神经网络是深度学习领域中的一个重要研究方向。传统的卷积神经网络在训练图像数据时，学习到的卷积核是杂乱无章的，没有规则的。这是因为卷积核...
网络中1*1的卷积核作用以及大小卷积核的优缺点
RayChiu757374816的博客
11-29 7137
1*1卷积核的作用和大卷积核小卷积核的各自优缺点介绍。
卷积核的类型及其作用
Billie使劲学的博客
07-13 6525
这是为什么呢？ 这就是解释了为什么很多网络的第一层使用的都是7×7的大卷积核接受输入图片，因为网络开头使用小卷积核进行下采样参数量会更大。感受野的计算是迭代计算感受野计算公式：1个5×5卷积：RF = 52个3×3卷积：RF = 3+（3-1）×1 = 51个7×7卷积：RF = 73个3×3卷积：RF = 3+（3-1）×1+（3-1）×1 = 7 标准的3×3卷积核只能看到对应区域3×3的大小，但是为了能让卷积核看到更大的范围，dilated conv使其成为了可能。poo
打破故有思维--超大卷积核 RepLKNet: Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs
u014546828的博客
06-24 1348
本文重新审视现代卷积神经网络 (CNNs) 中的大卷积核设计。
PeLK: 大卷积核强势回归，高达101 × 101，提出了外围卷积
AI数据工厂
04-27 1825
PeLK：超大卷积核，高达101*101！
GCN：使用大卷积核+全局卷积来改进语义分割
AI数据工厂
01-17 3172
本文主要是通过分析分类和定位任务之间的矛盾，提出了GCN模块使用大卷积核来解决。消融实验表明，该结构能够很好的平平衡有效感受野和参数量，同时达到很好的效果。并为了进一步细化边界，提出了边界细化模块（BR）。 该文通过类似深度可分离卷积的方式，既获得了大感受野，又平衡了参数量，并融合了多尺度信息，是一个不错的语义分割思路。
UniRepLKNet：一种用于音频、视频、点云、时间序列和图像识别的通用感知大核卷积神经网络
weixin_45074568的博客
03-27 1152
论文: https://arxiv.org/abs/2311.15599模型: https://huggingface.co/DingXiaoH/UniRepLKNet/tree/main主页：https://invictus717.github.io/UniRepLKNet/提出了四条guide line用于设计大核CNN架构模型，用于图像识别，语音、点云、时序任务上，并且均取得了较SOTA的成绩，打破了传统观念上 只有Transformer才能一统多模态的事情。（只有打破人们传统观念，才能更加吸引人眼球
新一代大核卷积反超ViT和ConvNet！同参数量下性能、精度、速度完胜
最新发布
学姐带你玩AI的博客
06-14 946
它使用较大的卷积核来处理图像数据，以提高模型对视觉信息的理解和处理能力。这种类型的网络能够捕捉到更多的空间信息，因为它的大步长和大感受野可以一次性覆盖图像的更多区域。比如美团提出的PeLK网络，内核大小可以达到101x101，同参数量下性能反超 ViT，目前已被CVPR 2024收录。更值得一提的，大核卷积网络不仅在性能上有所提升，在ImageNet分类等任务上，也展现出了优于ViT和ConvNet架构的效果。
YOLOv7改进：InceptionNeXtBlock大核深度卷积，扩大感受野 ，即插即用，小目标检测涨点明显 | CVPR2023 InceptionNeXt
10-09 588
Inception的思想和ConvNeXt的设计相结合，从而实现了对大核深度卷积的有效分解。这种分解不仅减少了参数量和计算量，而且保留了大核深度卷积的优势，即扩大了感受野和提高了模型性能
深度学习避坑提示：RuntimeError: Error(s) in loading state_dict for Model: Missing key(s) in state_dict
热门推荐
tuanzi2809的博客
02-19 1万+
RuntimeError: Error(s) in loading state_dict for Model: Missing key(s) in state_dict
CNN2网络卷积核大小
05-19
CNN2网络卷积核大小通常由具体应用场景和数据集大小决定。一般而言，卷积核的大小可以是 $3 \times 3$、$5 \times 5$、$7 \times 7$ 等。在实践中，选择合适的卷积核大小需要考虑多个因素，如输入图像的大小、卷积层...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值