CNN: 1x1卷积层的精妙之处

最新推荐文章于 2024-05-07 12:34:55 发布
最新推荐文章于 2024-05-07 12:34:55 发布
阅读量1.1k 收藏 4
点赞数
分类专栏： deep learning 文章标签： CNN 1x1卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cedi9117/article/details/83654093
版权
1x1卷积在神经网络中主要用来改变矩阵维度和增加非线性。通过1x1卷积，可以有效降低计算量，实现特征图的降维或升维，同时保持矩阵性质不变，构建出各种结构的神经网络。在ResNet中的bottleneck结构中，1x1卷积用于创建从低维到高维再到低维的空间过渡，增加了网络的非线性程度，降低了计算复杂度，使得深层网络能更精确地逼近目标模型。
摘要由CSDN通过智能技术生成

现在各种神经网络都会用到1x1 conv，它到底起到什么作用呢？要回答这个问题，先从最经典的Inception模型说起，Figure 1是Inception-ResNet-v2的block架构图。

Figure 1: https://arxiv.org/pdf/1602.07261.pdf

作用一：改变矩阵维度

block中每个sublayer的第一层都1x1 conv，它在这里的作用之一是降维，减少运算量–feature map channel数越少，卷积操作需要的计算量越小。但就像图像压缩一样，压缩率越大丢帧越多，1x1 conv是如果做到在质量与速度的平衡的呢？

Figure 2

Figure 2中间图形就是1x1卷积核，左边的矩阵是input，而右边的正方形代表feature map中的一个grid，或一个pix

最低0.47元/天 解锁文章
A君来了
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
1x1卷积(Conv 1*1)的作用
程序员，他们想的是什么?他们想的永远都是技术，他们崇尚的也永远都是技术。
11-07 2454
Conv 1×1 所实现的通道数增加/减少，本质上其实是通道之间信息的线性组合，这些组合能够使得网络提取更加丰富的高级特征，如上一部分中 28×28×192 的输入经过1×1×192×16 的卷积操作后输出为28×28×16，即该层输入中的原192 个特征经过 跨通道线性组合 变成了输出中的 16 个特征。对于多通道图像，Conv 1×1 会遍历图像的所有位置，将每个位置处所有通道的值作为其输入，与1×1 卷积核中对应通道的值进行线性运算。未使用 Conv 1×1 的情况下，输出通道数为卷积核的个数。
由浅入深CNN中卷积层与转置卷积层的关系
01-27
在CNN提出之前，我们所提到的人工神经网络应该多数情况下都是前馈神经网络，两者区别主要在于CNN使用了卷积层，而前馈神经网络用的都是全连接层，而这两个layer的区别又在于全连接层认为上一层的所有节点下一层都是...
1*1卷积原理及作用
shixiaoheya的博客
05-07 455
输入：3*3*1。前面2个3代表图片的高(h)和宽(w)，h*w可以理解为图片的分辨率。1代表通道数(channel)。每个格子上的数字可以理解为像素值。卷积核：大小为1*1（卷积核也就是kernnel，卷积核是一个二维的概念），卷积核上的数字可以理解为权重（weight）输出：3*3*1。输入图片每个格子上像素与卷积核权重的乘积。
1*1卷积层
weixin_33709364的博客
11-29 197
from mxnet import gluon,init from mxnet import autograd,nd from mxnet.gluon import nn,loss as gloss from mxnet.gluon import data as gdata # 二维卷积层 def corr2d(X,K): h, w = K.shape ...
1 * 1卷积层
sujixian1995的博客
09-18 1492
对于1 * 1卷积层自己的一点理解 1 *1 卷积层最早是2014年ICLR的一篇名为《Network In Network》的论文提出的从下面图片可以看成 1 * 1卷积层其实就相当于全连接层也就是相当于输入乘以权重。它为改变输入的大小， 1*1 卷积的作用 一、 实现特征通道的升维和降维 　　通过控制卷积核的数量达到通道数大小的放缩。而池化层只能改变高度和宽度，无法改变通道数。 二、 增加非线性 　　1×1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性，使
CNN.rar_CNN__cnn 卷积层_muscular_卷积核_神经网络 matlab
09-24
%得到卷积层的featuremap的size，卷积层fm的大小 为 上一层大小 - 卷积核大小 + 1（步长为1的情况） %得到卷积层的featuremap的size，卷积层fm的大小 为 上一层大小 - 卷积核大小 + 1（步长为1的情况）
DO-Conv:深度超参数化卷积层
03-20
DO-Conv是深度过参数化的卷积层，可在训练阶段用作CNN中常规卷积层的替代，以实现更高的精度。在推理阶段，DO-Conv可以融合到常规卷积层中，从而导致计算量与常规卷积层的计算量完全相同。 有关更多详细信息，请参见...
CNN.zip_cnn 卷积层_relu_卷积神经网络_卷积网络_神经网络RELU
07-14
构建卷积神经网络，包括卷积层，池化层，RELU
1*1卷积层的简单理解
jackzhang11的博客
04-29 5560
在很多模型中都会有一些1∗11*11∗1的卷积层，打眼一看感觉这些layer很鸡肋，不知道放在模型里能起到什么作用。但深入理解一下就能发现，1*1的卷积是非常有用的，可以很灵活地控制特征图的深度，并能起到减少参数量的作用。 本文就基于个人粗浅的理解，简单讨论一下1*1卷积的作用。 1. 升维降维，实现跨通道的信息整合 feature map和1*1的卷积核做卷积时，只需要考虑当前像素即可，并不需要...
ResNet解读和1×1卷积介绍
m0_63520910的博客
07-20 3444
深度卷积网络好在哪里？-----它可以加很多层，把网络变得很深，不同程度的层可以得到不同等级的特征。 作者提出一个问题--一个网络只是简单的堆叠就好了嘛？——不是，当网络变得很深的时候，梯度会出现爆炸或者消失。一个解决方法，初始化时设置一个合适的权重，不要太大也不要太小。又或者在中间加入normalization（包括BN）,可以使得校验每个层之间的那些输出和它梯度的那些均值和方差。上述两个方法可以让网络收敛，但是网络变深后，性能会变差（不是过拟合造成的，因为训练误差和测试误差都会变得很差），所以现在网络虽
CNN 常用网络结构解析 && 1x1 卷积运算 示意图
AI小作坊 的博客
05-18 2014
AlexNet 网络结构： VGG ： conv3x3、conv5x5、conv7x7、conv9x9和conv11x11，在224x224x3的RGB图上（设置pad=1，stride=4，output_channel=96）做卷积，卷积层的参数规模和得到的feature map的大小如下： 卷积神经网络基本计算原理 http://m.elecfans.com/article/691826....
1x1
dianqichenanqi的博客
04-14 422
Option Base 1 Private Sub Command1_Click()     Me.Font.Size = 70     Dim n1() As Byte, n1len As Long     Dim n2() As Byte, n2len As Long     Dim yushu As Byte     Dim shang As Byte         Di
1x1卷积
qq_43071209的博客
03-06 1972
1x1卷积的作用：可以压缩通道数。 原理如下： 对于如下的二维矩阵，做卷积，相当于直接乘以2，貌似看上去没什么意义。 但是，对于下面这种32通道的数据，如果我用1个1x1x32的卷积核与其做卷积运算，得到的就是1个6x6的矩阵。 同理，如果我用N个1x1x32的卷积核与其做卷积运算，得到的就是N个6x6的矩阵。 也就是说我们可以通过改变1x1卷积核的个数来改变最后输出的通道数。 ...
详解 1x1 卷积核
绿色羽毛
11-17 2322
表面看来，1x1 卷积核似乎并不是真正的滤波器，它只是将图像的每个点都乘以 1 个权重，再加上 1个偏置；因此，通过 N个 1x1 卷积核，只需少量参数，就能将 M张图像变为 N张图像； 应用场景 如需将图像分为 N类，可在最后用 1x1 卷积层 将 M张图像转换为 N张图像，在通过全局池化变为 N个数字，送入 Softmax计算输出； 可用 1x1 卷积层作为 瓶颈层。假设输入通道是 256个，要求经过 3x3卷积，最后输出通道也是 256个，那么有 2种实现方式： 直接送入3x3 卷积层，
卷积核为1×1的conv转为矩阵乘运算，pytorch实现
weixin_43969854的博客
04-07 421
主要就是ci和ci相乘，然后co方向加上bias。
1x1的卷积
小莉的博客
12-28 1695
我们在看深度学习时会发现，好多网络都会加1x1conv，可是为什么会加1x1conv呢？ 1.首先我们需要明确卷积的输入输出不是一个平面，而是一个立方体。所以1x1conv实际上对每个像素点，在不同的channels上进行线性组合，且保留了图片的原有平面结构，调控depth,从而完成升维和降维的功能。 如下图所示，如果选择2个filters的1x1conv,那么数据就从原来的depth 3降到
cnn卷积神经网络卷积层
最新发布
06-09
在CNN中，卷积层是其核心组成部分，它们负责特征提取和局部感知。 卷积层的工作原理主要包括以下几个关键概念： 1. **卷积核（Filter或Kernel）**：是一组可学习的参数，通常是一个小的矩阵。它们会在输入数据上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值