CNN: 1x1卷积层的精妙之处

最新推荐文章于 2024-03-13 14:52:18 发布
最新推荐文章于 2024-03-13 14:52:18 发布
阅读量1.1k 收藏 4
点赞数
分类专栏： deep learning 文章标签： CNN 1x1卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cedi9117/article/details/83654093
版权

现在各种神经网络都会用到1x1 conv，它到底起到什么作用呢？要回答这个问题，先从最经典的Inception模型说起，Figure 1是Inception-ResNet-v2的block架构图。

Figure 1: https://arxiv.org/pdf/1602.07261.pdf

作用一：改变矩阵维度

block中每个sublayer的第一层都1x1 conv，它在这里的作用之一是降维，减少运算量–feature map channel数越少，卷积操作需要的计算量越小。但就像图像压缩一样，压缩率越大丢帧越多，1x1 conv是如果做到在质量与速度的平衡的呢？

Figure 2

Figure 2中间图形就是1x1卷积核，左边的矩阵是input，

最低0.47元/天 解锁文章
A君来了
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
1x1卷积(Conv 1*1)的作用
程序员，他们想的是什么?他们想的永远都是技术，他们崇尚的也永远都是技术。
11-07 2248
Conv 1×1 所实现的通道数增加/减少，本质上其实是通道之间信息的线性组合，这些组合能够使得网络提取更加丰富的高级特征，如上一部分中 28×28×192 的输入经过1×1×192×16 的卷积操作后输出为28×28×16，即该层输入中的原192 个特征经过 跨通道线性组合 变成了输出中的 16 个特征。对于多通道图像，Conv 1×1 会遍历图像的所有位置，将每个位置处所有通道的值作为其输入，与1×1 卷积核中对应通道的值进行线性运算。未使用 Conv 1×1 的情况下，输出通道数为卷积核的个数。
由浅入深CNN中卷积层与转置卷积层的关系
01-27
本文来自于云社区，本文章主要介绍了转置卷积层和正卷积层的关系和区别是什么呢，转置卷积层实现过程又是什么样的呢,希望读后会给您带来帮助。在CNN提出之前，我们所提到的人工神经网络应该多数情况下都是前馈神经网络，两者区别主要在于CNN使用了卷积层，而前馈神经网络用的都是全连接层，而这两个layer的区别又在于全连接层认为上一层的所有节点下一层都是需要的，通过与权重矩阵相乘层层传递，而卷积层则认为上一层的有些节点下一层其实是不需要的，所以提出了卷积核矩阵的概念，如果卷积核的大小是n*m，那么意味着该卷积核认为上一层节点每次映射到下一层节点都只有n*m个节点是有意义的，具体的映射方式下一节会讲到。到
Resnet学习和理解
g11d111的博客
03-28 3957
一直以来，经常在各种复杂的结构中使用或者听说过Resnet的名字，但是一直也没有学习过这篇文章，现在趁着有时间，学习一下Resnet——何凯明等人于2015年年底发表的《Deep Residual Learning for Image Recognition》。 一、Resnet的背景 深度神经网络（DCNN）结构是很难训练的，这里我们提出一种叫做“residual learnin...
基础网络学习
WchStrife的博客
09-06 839
基础网络学习 这些net的结构是怎么样的 为什么要这么设计 这个net的优点是什么 还存在那些问题 AlexNet Imagenet Classification With Deep Convolutional Neural Networks. paper: http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf 网络结构 共有8层，其中有5个卷积层
【深度学习】卷积概念以及卷积核层数
小昊同学
08-03 3458
对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。 中间的过程部分可以理解为一个滤波器，即带着一组固定权重的神经元，多个滤波器的叠加便成了卷积层。 一般而言，深度卷积网络是一层又一层的。 层的本质是特征图, 存贮输入数据或其中间...
CNN 常用网络结构解析 && 1x1 卷积运算 示意图
AI小作坊 的博客
05-18 1972
AlexNet 网络结构： VGG ： conv3x3、conv5x5、conv7x7、conv9x9和conv11x11，在224x224x3的RGB图上（设置pad=1，stride=4，output_channel=96）做卷积，卷积层的参数规模和得到的feature map的大小如下： 卷积神经网络基本计算原理 http://m.elecfans.com/article/691826....
1*1卷积层
简单记录生活、学习
04-26 2万+
目录 1.为什么可以用1*1卷积层来代替全连接层？ 2.1*1 卷积的作用 一、 实现特征通道的升维和降维 二、 增加非线性 三、 减少卷积核参数（简化模型） 3.用1*1卷积层代替全连接层的好处： 1.为什么可以用1*1卷积层来代替全连接层？ 假设当前输入张量维度为6×6×32，卷积核维度为1×1×32，取输入张量的某一个位置（如图黄色区域）与卷积核进行运算。实际上可以看到，如果把1×1×32卷积核看成是32个权重W，输入张量运算的1×1×32部分（左图黄色部分）为输入x，那么每一个卷积操
为什么1x1卷积层可以视为全连接层
LK_muchen的博客
08-14 588
从各个同一像素点位置的通道维来看，1x1卷积层是可以视为全连接层的，而不同像素之间是不连接的
CNN卷积详解（二）
梦在黎明破晓时的博客
07-28 208
盗用吴恩达老师的一张图片来说明1*1卷积是怎样计算的：从上图中可以看出当通道数目为1的卷积核相当于直接在原图像的像素上进行加权求和，这时候只能起到升维的作用，这样的操作是没有太大的意义的。
CNN中的1x1卷积
l314046573的博客
02-15 578
在深度学习的过程中，发现了很多网络结构中都存在了有1x1卷积的存在。也就是说，之前我们通常选择的卷积核都是3x3或者5x5大小的，作用都是用来提取特征，那么这么使用的1x1卷积核有什么作用呢，表面上看来是不是这个卷积核在输入上滑动，就相当于给输入元素乘以一个系数，逐格逐元素提取特征呢。其实并非这么简单。 另外，1x1卷积这个方法也是现在比较火的方法，如 googLeNet、ResNet、Dense...
CNN.rar_CNN__cnn 卷积层_muscular_卷积核_神经网络 matlab
09-24
%得到卷积层的featuremap的size，卷积层fm的大小 为 上一层大小 - 卷积核大小 + 1（步长为1的情况） %得到卷积层的featuremap的size，卷积层fm的大小 为 上一层大小 - 卷积核大小 + 1（步长为1的情况）
DO-Conv:深度超参数化卷积层
03-20
DO-Conv是深度过参数化的卷积层，可在训练阶段用作CNN中常规卷积层的替代，以实现更高的精度。在推理阶段，DO-Conv可以融合到常规卷积层中，从而导致计算量与常规卷积层的计算量完全相同。 有关更多详细信息，请参见...
CNN.zip_cnn 卷积层_relu_卷积神经网络_卷积网络_神经网络RELU
07-14
构建卷积神经网络，包括卷积层，池化层，RELU
1x1卷积
qq_43071209的博客
03-06 1961
1x1卷积的作用：可以压缩通道数。 原理如下： 对于如下的二维矩阵，做卷积，相当于直接乘以2，貌似看上去没什么意义。 但是，对于下面这种32通道的数据，如果我用1个1x1x32的卷积核与其做卷积运算，得到的就是1个6x6的矩阵。 同理，如果我用N个1x1x32的卷积核与其做卷积运算，得到的就是N个6x6的矩阵。 也就是说我们可以通过改变1x1卷积核的个数来改变最后输出的通道数。 ...
1×1卷积层的意义及inception层初介绍
qq_51659249的博客
03-13 464
Inception就是将多个卷积或池化操作放在一起组装成一个网络模块，它是一种基于多尺度卷积的网络结构，旨在解决传统CNN在处理不同大小的输入图像时存在的问题。主要特点：使用了多个不同尺度的卷积核来提取不同尺度的特征。这些卷积核可以并行地应用于输入图像，然后将它们的输出连接在一起，形成一个多通道的特征图。通过这种方式，Inception可以有效地处理不同大小的输入图像，并提取更丰富和多样化的特征。使用了1x1的卷积核来进行特征图的降维和升维。这些1x1的卷积核可以降低特征图的维度。
1 x1卷积详解：概念、优势和应用
deephub
02-20 1万+
Lin等人的《网络中的网络(Network in Network, NiN)》一文，提出了一种特殊的卷积操作，它允许跨通道参数级联，通过汇聚跨通道信息来学习复杂的交互。他们将其称为“交叉通道参数池化层”（cross channel parametric pooling layer），并将其与1x1卷积核进行卷积的操作相比较。 当时浏览一下细节，我从没想过我使用这样的操作，更不用说对其细节有任何的想法。但是通常是术语看起来很深奥，而概念本身并不是。在我了解背景和进行了一系列的测试以后，让我们一起来解开这个奇特
用Unet实现图像分割（by pytorch）
热门推荐
cedi9117的博客
12-17 2万+
Segmentation Figure1来自CamVid database，专为目标识别（Object Dection）和图像分割（Image Segmentation）提供训练数据的网站。从图中可以看出，segmentation将图像中不同个体用不同颜色来标记，这里不同的颜色就代表不同的分类，例如红色就是分类1，蓝色就是分类2，可以看出，它就是像素级的图像识别（Image Identifica...
cnn卷积神经网络卷积层
最新发布
06-09
在CNN中，卷积层是其核心组成部分，它们负责特征提取和局部感知。 卷积层的工作原理主要包括以下几个关键概念： 1. **卷积核（Filter或Kernel）**：是一组可学习的参数，通常是一个小的矩阵。它们会在输入数据上...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值