网络中1*1的卷积核作用以及大小卷积核的优缺点

最新推荐文章于 2024-09-12 22:35:21 发布
最新推荐文章于 2024-09-12 22:35:21 发布
阅读量7.1k 收藏 15
点赞数 5
分类专栏： 深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/RayChiu757374816/article/details/121565136
版权

作者：RayChiu_Labloy
版权声明：著作权归作者所有，商业转载请联系作者获得授权，非商业转载请注明出处

1*1卷积核的作用

  • 升维降维
  • 增加激活函数提升模型语义能力
  • 减少参数量
  • 通道间数据整合(也是降维升维过程中带来的好处，输入层和1*1卷积核连接类似全连接)

大卷积核和小卷积核比较

        首先只有在1*1卷积核之上大小的卷积核才有感受野的作用。

        卷积核大了感受野大，可以审视更为宽广区域的feature Map，所获得的全局特征越好。虽然很多情况下可以由几个小的卷积核代替(例如一个7*7的卷积核可以由3个3*3的卷积核代替)，但是虽说网络增加了深度有很多优点，但是也会增加梯度消失的风险。

        反过来说连续的小卷积核代替大卷积核是现在比较常用的做法，优点很多，比如深度增加带来的非线性激活函数多了，语义表达强了，计算量也会变少，参数量也同样变少，梯度消失的问题因为BN等技术出现得到了很好的优化。另外深度增加语义表达能力增加了，在一些情况下还容易出现过拟合，有时候还不如浅层模型效果好，防止过拟合的方法也出现了很多，也很好解决了这些问题，参考：详细讲解深层神经网络DNN_RayChiu757374816的博客-CSDN博客_dnn神经网络

【如果对您有帮助，交个朋友给个一键三连吧，您的肯定是我博客高质量维护的动力！！！】 

RayChiu_Labloy
关注
专栏目录
卷积核是不是越大越好
CSDN 精品推荐
08-08 1972
例如，在图像分类任务中，底层的卷积核可能更小，用于检测边缘和纹理，而高层的卷积核可能更大，用于捕捉更高级别的语义信息。总的来说，选择卷积核的大小需要考虑任务的需求、数据的特点以及网络架构的设计。在设计网络时，往往需要通过实验和验证来确定最适合的卷积核大小，以达到更好的性能和特征提取能力。卷积核的大小影响了卷积层的感受野和特征提取能力，不同大小的卷积核适用于不同类型的任务和特征。较大的卷积核可以捕捉更大范围内的特征，而较小的卷积核更适合捕捉局部特征。在需要保留细节信息的任务中，需要谨慎选择卷积核的大小。
深度学习中常用的几种卷积（上篇）：标准二维卷积、转置卷积、1*1卷积（附Pytorch测试代码）
NorthSmile的博客
09-05 3222
1×1卷积与上一节介绍的2D卷积差别仅在于，1×1卷积的卷积核大小是（1,1）。1×1卷积通常用于：（1）特征降维：可通过调整卷积步长、过滤器数量来进行特征降维，降低计算量；（2）引入非线性：通过在学习中引入非线性激活函数，扩大网络的假设空间，增强网络的学习能力。1）卷积通常是实现对特征图的下采样操作，所以为了对特征图进行上采样操作，提出和标准卷积相反的转置卷积，此操作可用于代替传统的插值方法实现上采样操作。特征上采样；将低维特征映射到高位空间；
卷积核的类型及其作用
Billie使劲学的博客
07-13 6536
这是为什么呢？ 这就是解释了为什么很多网络的第一层使用的都是7×7的大卷积核接受输入图片，因为网络开头使用小卷积核进行下采样参数量会更大。感受野的计算是迭代计算感受野计算公式：1个5×5卷积：RF = 52个3×3卷积：RF = 3+（3-1）×1 = 51个7×7卷积：RF = 73个3×3卷积：RF = 3+（3-1）×1+（3-1）×1 = 7 标准的3×3卷积核只能看到对应区域3×3的大小，但是为了能让卷积核看到更大的范围，dilated conv使其成为了可能。poo
MTLDesc: Looking Wider to Describe Better阅读笔记
weixin_46078886的博客
06-22 780
为了获得多样化的周围上下文，所以把描述子张量进行解耦成四个（h/4，w/4，32）的张量，分别使用不同的卷积来提取特征（描述子），使用一个1*1的卷积核三个3*3的膨胀卷积（膨胀率分别为6，12，18），这样使得描述子能够获得多样化不同周围大小的信息，提升描述子质量，最后把解耦的四个张量再拼接成（h/4，w/4，128）与原始输入再进行融合就得到了最终的描述子张量D（h/4，w/4，128）。从损失函数中可以看出当||x||+小而||x||-大的时候，损失小，效果好，所以反向传播时会把。
卷积核越大性能越强？一文解读RepLKNet模型
PaddlePaddle
07-22 4723
在CVPR2022中，一篇专注于优化卷积核大小的分类网络论文吸引了大量的关注，这就是由清华和旷视提出的RepLKNet[1]。RepLKNet与目前流行的CNN模型背道而驰，其核心模块由31×31的大卷积核构成。在Vision Transformer (ViT) 流行的大背景下，RepLKNet以纯CNN的架构获得了超过Swin Transformer( Top-1 ac...
卷积神经网络中用1*1 卷积有什么作用或者好处呢？
AI蜗牛车
05-03 2280
来自 | 知乎https://www.zhihu.com/question/56024942编辑 | AI有道本文仅作学术分享，若侵权，请联系后台删文处理卷积神经网络中用1*1 卷积有...
学习日志(十一)：大卷积核VS小卷积核
weixin_44825185的博客
06-22 3047
参考文献： 小卷积核级联卷积VS大卷积核卷积
大卷积核的应用
tuanzi2809的博客
02-28 601
卷积核的应用
ResNet解读和1×1卷积介绍
m0_63520910的博客
07-20 3528
深度卷积网络好在哪里？-----它可以加很多层，把网络变得很深，不同程度的层可以得到不同等级的特征。 作者提出一个问题--一个网络只是简单的堆叠就好了嘛？——不是，当网络变得很深的时候，梯度会出现爆炸或者消失。一个解决方法，初始化时设置一个合适的权重，不要太大也不要太小。又或者在中间加入normalization（包括BN）,可以使得校验每个层之间的那些输出和它梯度的那些均值和方差。上述两个方法可以让网络收敛，但是网络变深后，性能会变差（不是过拟合造成的，因为训练误差和测试误差都会变得很差），所以现在网络虽
卷积核及池化层的基本概念笔记
Geek_of_CSDN的博客
10-15 3527
卷积核基本概念 全连接网络的问题在于参数太多，例如一个尺寸为200×200×3200 \times 200 \times 3200×200×3的图像会让下一层隐藏层中的一个神经元包含200×200×3=120,000200 \times 200 \times 3 = 120,000200×200×3=120,000个权重，而且这一层中可能还不止一个神经元。过多参数带来的后果就是容易导致过拟合，而且不容易训练。因此需要通过一些手段来减少参数数量，降低训练难度。所以就有了卷积神经网络。 卷积神经网络由卷积核组成
经典卷积神经网络
清榎的博客
04-05 5169
一、 卷积神经网络的演变 二、经典神经网络 2.1 LeNet5 2.1.1 背景 Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, November 1998. LeNet5是由Y.LeCun等人提出的，主要进行手写数字识别和英文字母识别。 2.1.2 结构 ...
Keras深度学习实战（7）——卷积神经网络详解与实现
热门推荐
盼小辉丶的博客
06-02 1万+
传统深度前馈神经网络的局限性之一是它并不满足平移不变性，且容易受图像中对象大小的影响。卷积神经网络 (Convolutional Neural Network, CNN) 的提出正是用于解决传统神经网络的这些缺陷。即使对象位于图片中的不同位置或其在图像中具有不同占比，CNN 也能够正确的处理这些图像，因此在对象分类/检测任务中更加有效。本节详细介绍了 CNN 的基本概念与计算流程，同时使用 Keras 构建 CNN 模型识别手写数字。.........
使用不同卷积核对图像进行处理之后的效果
qq_34000894的博客
05-23 5040
# -*- coding: utf-8 -*- import cv2 import numpy as np import matplotlib.pyplot as plt src = cv2.imread("09-opencv/lena.jpg") kernels = [ (u"低通滤波器", np.array([[1, 1, 1], [1, 2, 1], [1, 1, 1]]) * 0...
【机器学习】大卷积核or小卷积核
最新发布
fzy2003的博客
09-12 396
大卷积核和小卷积核在卷积神经网络设计中各有优势。大卷积核能一次捕捉全局信息，减少卷积层堆叠，但计算量和参数量大，容易忽略局部细节。小卷积核擅长捕捉局部特征，计算效率高，过拟合风险较低，但需要更多层来扩大感受野。结合大、小卷积核的架构（如RepLKNet）通过重参数化技术在训练时融合两者优点，既提升全局信息获取能力，又保持推理效率，是提高模型性能的一种有效方法。
NMS,全卷积，大卷积核和小卷积核区别
qq_43482596的博客
11-07 1234
NMS
卷积网络之卷积核的作用
weixin_44229976的博客
05-30 1105
卷积运算相当于图形处理中的“滤波器运算”。卷积在图像处理领域，一个卷积核相当于一个特征滤波器，提取一个特征。
深度学习笔记005-不同大小卷积核心的作用
tuanzi2809的博客
11-03 2976
1×1卷积 增加非线性： 1×1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性，使得网络可以表达更加复杂的特征。 特征降维： 通过控制卷积核的数量达到通道数大小的放缩。特征降维带来的好处是可以减少参数量和减少计算量。 空洞卷积 空洞卷积（atrous convolutions）又名为扩张卷积（dilated convolitions），向卷积层引入了一个成为“扩张率（dilation rate）”的新参数，该参数定义了卷积和处理数据时各值之间的距离。空洞卷
大卷积核的思考
skyfengye的博客
07-17 1389
前段时间我看到了一篇讨论大卷积核的论文RepLKNet这个论文讨论了大卷积核的作用，今天我又在网上看到了一篇类似的论文。看到这个我突然想到，以前我们在卷积神经网络中一些比较常用的或者习惯的思维，有时候可以修改修改，也许也可以获得不一样的效果。具体的论文细节大家可以自己去看论文，但是看到上面的一个图，大家就应该明白是怎么回事了，作者把大的卷积核拆开来使用了。这篇文章讨论了更大的卷积核达到了51×51....
卷积神经网络CNN 中用1*1 卷积过滤器的作用及优势
u010899985的博客
08-09 1万+
  1*1卷积过滤器 和 正常的过滤器一样，唯一不同的是它的大小是1*1，没有考虑在前一层局部信息之间的关系。最早大神颜水成论文《Network In Network》 中使用1*1卷积 ，目的是想加深加宽网络结构 。后来谷歌GoogleNet的Inception网络（ Going Deeper with Convolutions ），微软亚洲研究院(MSRA)在 ResNet中的残差模块等中使...
不同卷积神经网络的优缺点
09-03
不同卷积神经网络（CNN）有不同的优缺点，以下是一些常见的例子： 1. LeNet-5: - 优点：简单有效，适用于手写数字识别等简单任务。 - 缺点：网络较浅，不适用于更复杂的图像识别任务。 2. AlexNet: - 优点：首次成功应用于大规模图像识别任务（ImageNet挑战赛），模型性能强大。 - 缺点：模型较大，需要更多的计算资源。 3. VGGNet: - 优点：通过增加网络深度和小卷积核大小，提高了模型性能。 - 缺点：模型更深，导致参数量增加，计算代价更高。 4. GoogLeNet (Inception): - 优点：引入了Inception模块，有效地减少了参数数量，提高了模型效率。 - 缺点：由于模型结构复杂，难以训练；可能存在梯度消失等问题。 5. ResNet: - 优点：通过引入残差连接，解决了深层网络训练难题，使得网络可以更深。 - 缺点：模型参数较多，需要更多的计算资源。 这些是仅举的一些例子，每个卷积神经网络都有其独特的优点和缺点，选择适合特定任务的网络结构是十分重要的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值