1×1卷积在神经网络中的理解和应用

最新推荐文章于 2025-03-14 18:28:31 发布
最新推荐文章于 2025-03-14 18:28:31 发布
阅读量2.7k 收藏 10
点赞数 4
分类专栏： 深度学习 文章标签： 计算机视觉 深度学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gary101818/article/details/124573364
版权
1×1卷积在深度学习中起到信息融合和降低计算量的作用。它能将多通道信息融合，如在MobileNet的Depthwise和Pointwise操作中，通过减少计算量来提升效率。此外，1×1卷积常用于网络结构如GoogLeNet的Inception模块中进行维度调整。这种技术在ResNet和MobileNet等模型中也有广泛应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1×1卷积

我们经常会在各种网络中看到1×1的卷积核，这是一个非常实用的卷积核，那么为什么要使用1×1的卷积核呢？
我们可以从两个角度进行理解

信息融合

在这里插入图片描述
1×1卷积运算可以将多个通道的信息进行融合，例如上图中三个通道进行卷积后，变为一个通道，不同通道相同位置的像素会被加权相加在结果像素中。
在MobileNet中，需要进行Depthwise和pointwise操作：
在这里插入图片描述

  • Depthwise：将每一个通道分为一个组，每组一个卷积核专门负责这一个通道的卷积，相比于普通的卷积，计算量大大下降
  • Poinwise:因为每一个通道间都有关联，若只进行Depthwise会损失很多信息，我们需要将多个不相关的通道中的信息进行融合，就需要用到1×1卷积

升降维（减小计算量）

在这里插入图片描述

如上图所示，如果仅采用5×5的卷积核进行运算，那么我们的计算量是in_channels * Win * Hin * kernel_size ^ 2 * out_channels * Wout * Hout = 120，422，400

若先经过1×1的卷积运算将通道数将为16后在进行5 * 5的卷积运算，那么运算量会减少到十分之一

由此我们可以得到，通过1 * 1的卷积运算可以大大降低卷积运算的运算量

应用：googlenet每一个Inception最后、ResNet用于升降维、MobileNet 中的Pointwise
如下图所示（GoogleNet中的一个Inception）：
在这里插入图片描述

深入详解神经网络基础知识——理解前馈神经网络（ FNN）、卷积神经网络（CNN）和循环神经网络（RNN）等概念及应用
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-16 2428
深入详解神经网络基础知识——理解前馈神经网络（ FNN）、卷积神经网络（CNN）和循环神经网络（RNN）等概念及应用
ResNet解读和1×1卷积介绍
m0_63520910的博客
07-20 3758
深度卷积网络好在哪里？-----它可以加很多层，把网络变得很深，不同程度的层可以得到不同等级的特征。 作者提出一个问题--一个网络只是简单的堆叠就好了嘛？——不是，当网络变得很深的时候，梯度会出现爆炸或者消失。一个解决方法，初始化时设置一个合适的权重，不要太大也不要太小。又或者在中间加入normalization（包括BN）,可以使得校验每个层之间的那些输出和它梯度的那些均值和方差。上述两个方法可以让网络收敛，但是网络变深后，性能会变差（不是过拟合造成的，因为训练误差和测试误差都会变得很差），所以现在网络虽
神经网络—多通道卷积神经网络
m0_56171395的博客
05-20 639
之后又有人想到没有充分的利用到句子的上下词语的关系，所以就讲图像算法的CNN运用到了NLP上，这个就相当于NLP里的n-gram（unigram，bigram，trigram...）一样，寻找相邻词语组合形成的特征。时间确实是这样的，但是我们常用的是一个是随机初始化的embedding，另一个是使用预训练embedding（w2v or GloVe ...）。然后因为参数太多，计算太慢，所以产生了pooling池化层，取指定维度的一个参数代表整个维度，从而大大降低了计算量，而且效果还不错。
现代卷积神经网络 合并行连结的网络（GoogLeNet）
yingzi的技术博客
09-20 836
这些路径的通道数分配和第三模块中的类似，首先是3 * 3卷积层的第二条路径输出最多通道，其次是仅含1 * 1卷积层的第一条路径，之后是含5 * 5卷积层的第三条路径和含3 * 3最大汇聚层的第四条路径。其中每条路径通道数的分配思路和第三、第四模块中的一致，只是在具体数据上有所不同，需要注意的是，第五模块的后面紧跟输出层，该模块同NiN一样使用全局平均汇聚层，将每个通道的高和宽变成1，最后我们将输出变成二维数组，再接上一个输出个数为标签类别数的全连接层。同时，我们可以为不同的滤波器分配不同数量的参数。
卷积神经网络(CNN)中1×1卷积核详解
最新发布
gkoyu的博客
03-14 1516
1×1卷积核在卷积神经网络（CNN）中扮演着关键角色，主要用于调整通道数、融合通道信息以及优化计算效率。
1×1卷积的作用
zfjBIT的专栏
02-07 682
1×1卷积的核心价值在于高效调整通道维度、融合跨通道信息并引入非线性，同时保持空间结构不变。它是现代CNN中实现轻量化、模块化设计的关键组件之一。
深度学习原理2——1×1卷积作用
xiaotiig的博客
11-20 1645
1*1卷积两个作用： 1、特征融合，对多通道图像做1x1卷积，其实就是将输入图像于每个通道乘以卷积系数后加在一起，即相当于把原图像中本来各个独立的通道“联通”在了一起。 2、维度变化，改变特征图输出维度。 ...
caffe中bn层与scale层(还有卷积通道融合的一些解释)
qinglv1的博客
01-22 2706
      该文章大部分来自转载，里面也有自己的一些总结整理，如有不对，可以联系我，谢谢        卷积层默认是开启卷积层的偏置项的，一般情况下，也都是让他开启着，一般学习得到的也就是权重w和偏置b。在卷积之后得到的数值的来源：wx+b。         而且卷积可以增加通道之间的融合/交流，比如senet就是这样增加通道之间的融合，也就是channel attention，全局平局池化的...
深度卷积神经网络在计算机视觉中的应用研究综述_卢宏涛.pdf
11-20
总之，深度卷积神经网络在计算机视觉领域的应用广泛且深入，不断推动着技术的进步，为图像理解和智能系统的发展开辟了新的道路。随着研究的深入，我们有理由期待CNNs在未来能带来更多的创新和突破。
俩个卷积神经网络代码.zip_matlab神经网络_wiresg1_卷积神经_卷积神经网络_神经卷积网络
07-15
在压缩包中的"俩个卷积神经网络代码"可能包含了上述所有步骤的MATLAB脚本，用户可以运行这些代码来理解和实践CNN的训练过程。为了更深入地理解并应用这些代码，建议熟悉MATLAB的基础语法以及神经网络工具箱的相关...
卷积神经网络在图像识别中的应用研究
11-02
内容概要：文章详细介绍了卷积神经网络（CNN）在图像识别领域的应用和发展，包括其基本结构和工作原理，常用的CNN模型如LeNet-5、AlexNet、VGGNet、GoogLeNet、ResNet等的特点和优缺点。文章还探讨了CNN在人脸识别、...
浅析1×1卷积核的作用
ywhshixiaobai的博客
05-16 669
最近在啃有关cv方向的论文的时候，总会在网络结构中出现1×1的卷积核，之前一直是模棱两可的带过。故借此条博客，想把我理解的1×1卷积核的作用做一总结归纳。 （1）升维和降维 我们知道，图片经过1×1的卷积核是不会改变其高和宽的，所以想在不改变尺寸的情况下进行升维和降维就可以用到1×1的卷积核。 a(升维) (b)降维 (2)各通道特征融合 这是1×1卷积核的核心作用，如图(b)所示，原来64通道的输入经过1×1卷积核之后，变成了32通道的输出。从64到32， 可以理解为64个通道
CNN--卷积神经网络的学习
BGMcat的博客
03-08 2909
简述 卷积神经网络是一种经典的前馈神经网络，主要受生物学中的感受野的概念提出。感受野在生物体中广泛存在，一个感受野连接多个感受器细胞，这些感受器细胞共同决定了感受野是否兴奋。通过感受野的机制，生物体传入的信号数量会大大降低，同时也能很好的对输入信号进行特征提取。 基本概念 感受器与感受野 感受器 感受器即卷积核，在图像处理中也称为算子。一个卷积核包含与输入图像通道数目相同的过滤器，一个卷积核产生一个特征图。 感受野 特征图上的某个点能看到的输入图像的区域,即输入图像中每次与感受器进行运算的区域。 特征图
一句话理解深度学习中1×1卷积的作用
weixin_52890053的博客
08-27 1079
一句话了解1×1卷积的作用
1*1的卷积核与Inception
热门推荐
easylifer的专栏
11-30 3万+
本文介绍1*1的卷积核与googlenet里面的Inception。
1x1卷积和池化操作
qq_40630902的博客
08-07 2262
1x1卷积和池化操作 1. 本质 1x1卷积和池化操作的本质是压缩feature mapping（输入层） 1x1卷积通过改变feature mapping（输入层）的通道数量，具体操作是减少通道数量实现压缩 池化操作通过改变feature mapping（输入层）的尺寸（宽和高） 2. 1x1卷积操作 假设这是一个28×28×192的输入层，如果通道数量很大，该如何把它压缩为28×28×32维度的层呢？你可以用32个大小为1×1的过滤器，严格来讲每个过滤器大小都是1×1×192维，因为过滤器中通道数量
【深度学习】神经网络中的特征融合方式（add/concate）
weixin_44001371的博客
11-02 1万+
是通道数叠加，描述图像本身的特征增加了，而。为简单的像素叠加，；add后描述图像的，但是描述图像的维度本身并没有增加，只是，这显然是对最终的图像的分类是有益的。特征add的时候就是增加特征的，特征concat的时候就是增加特征的注重细节的时候使用add，注重特征数量的时候使用concat。
1乘1的卷积和如何减少通道数
m0_57236802的博客
10-08 1898
假设你有一个输入特征图，其尺寸为(H \times W \times C_{in})，其中(H)和(W)分别是特征图的高度和宽度，(C_{in})是输入通道数。现在，假设你想减少通道数到(C_{out})，你可以使用一个尺寸为(1 \times 1 \times C_{in} \times C_{out})的卷积核。1x1的卷积核主要是用于改变输入数据的通道数量，而不是提取空间特征。通过这种方式，1x1卷积能够将输入的(C_{in})个通道映射到输出的(C_{out})个通道，从而实现通道数的减少。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值