1x1卷积笔记

最新推荐文章于 2022-10-13 22:50:42 发布
最新推荐文章于 2022-10-13 22:50:42 发布
阅读量282 收藏
点赞数
分类专栏： 神经网络 文章标签： 人工智能 神经网络 深度学习
原文链接：https://item.jd.com/12879996.html
版权
1x1卷积在深度网络中用于通道间信息提取和融合，通过调整通道数量实现特征维度的升降。在网络设计中，1x1卷积常与瓶颈结构结合，降低计算复杂度同时增加网络深度。瓶颈结构通过先降维再升维，有效减少了参数量并增强了模型的表达能力。
摘要由CSDN通过智能技术生成

 1x1卷积定义

        在深层卷积网络中，同一个卷积核用于提取通道内特征，不同的卷积核用于提取通道间特征，然后进行融合。1x1卷积用于通道间的信息提取，在Network in Network中被用于增加网络深度，从而增强网络的非线性表达能力。

        如果一个输入特征平面的大小为N1xHxW，用N1xN2个1x1卷积，就可以将其映射到N2xHxW的特征平面。当N1<N2时，实现通道升维；当N1>N2时，实现通道降维。

1x1卷积与瓶颈结构

        “两头宽、中间窄”的网络结构被称为瓶颈结构。输入为N1xHxW的特征图，经过N1xN2x1x1的卷积，得到N2xHxW的特征图，当N2<N1时，实现降维；再经过N1xN2x1x1的卷积，得到N1xHxW的特征图，实现升维，过程与自编码器Encoder-Decoder结构类似。瓶颈结构不仅增加了网络的深度，还减小了计算量和参数量。

 参考：

        《深度学习之模型设计核心算法与案例实践》

YoJayC
关注
专栏目录
『CV学习笔记』轻量化卷积神经网络MobileNet从V1到V3
AI新视界
12-08 1273
相对重量级网络而言，轻量级网络的特点是参数少、计算量小、推理时间短。更适用于存储空间和功耗受限的场景，例如移动端嵌入式设备等边缘计算设备。因此轻量级网络受到了广泛的关注，其中MobileNet可谓是其中的佼佼者。MobileNetV3经过了V1和V2前两代的积累，性能和速度都表现优异，受到学术界和工业界的追捧，无疑是轻量级网络的“抗把子“。
PyTorch笔记 - Convolution卷积运算的原理 (1)
Mystra
08-09 1118
元素：input size、kernel size、stride、padding、group、dilation(膨胀)计算方法：F.conv2d、input展开+矩阵相乘、kernel展开+矩阵相乘。卷积和信号互相关类似，对于一张图像，卷积核沿着图像的不同区域，滑动相乘。Input Feature Map，特征图，4x4。bias是标量，卷积之后的再加上标量。Z字型移动，从左到右，从上到下。Kernel，卷积核，3x3。用途：局部建模、下采样。............
CNN中的1x1卷积
l314046573的博客
02-15 613
在深度学习的过程中，发现了很多网络结构中都存在了有1x1卷积的存在。也就是说，之前我们通常选择的卷积核都是3x3或者5x5大小的，作用都是用来提取特征，那么这么使用的1x1卷积核有什么作用呢，表面上看来是不是这个卷积核在输入上滑动，就相当于给输入元素乘以一个系数，逐格逐元素提取特征呢。其实并非这么简单。 另外，1x1卷积这个方法也是现在比较火的方法，如 googLeNet、ResNet、Dense...
CNN卷积神经网络中的概念之1x1卷积核的作用
千与编程
03-14 447
CNN（卷积神经网络）在机器视觉与图像识别领域应用越来越广泛，从简单的手写数字0-9mnist数据集识别到各种复杂的数据集识别与准确率提升。由于复杂的图片中含有很多其他的干扰，因此需要对图片进行滤波处理，也就是提取特征这既是卷积层的作用。 常用的卷积层中包括众多卷积核。卷积核中包括卷积核维数，卷积核通道数，以及卷积核的步长。通常使用的卷积核为1x1 3x3 5x5 ,卷积层可以对图像的维度大小进行...
卷积神经网络中的1x1卷积核
种花家的奋斗兔的博客
03-19 1904
前言 在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念[1]。 1. 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸（一般是奇数x奇数）。 卷积核的个数就对应输...
1*1卷积核的作用
AnUnverse的博客
08-01 432
卷积相较于全连接神经网络，其参数量较少，其可以对像素区域在不同的通道上进行线性组合。 相较于常见的3*3，5*5的卷积核，1*1的卷积核在运算上是完全等同于全连接神经网络的，但是其具有对每个像素点，在不同的通道上进行线性组合的实际意义，并能保持平面结构，控制维度，做到降维或升高维度（增加输出通道数）的作用。在降维后，如再接上3*3或5*5的卷积核，能大大减小运算量。 ...
CNN中1x1卷积的用处和优点
qq_25832701的博客
11-28 1547
在CNN中，有一个比较特殊的卷积结构，就是1x1的卷积。     1x1的卷积其实和pooling层的作用很像，但是pooling层的减少数据量的作用只能作用于图片的尺寸，无法对channel（通道数）进行缩减，所以1x1的卷积就拥有减少通道数的作用。举个例子，例如28x28x64的经过2x2的最大pooling，stride为2，则可以获得14x14x64的图片，而经过1x1x32的卷积层之后
【深度学习】各种卷积的理解笔记（2D，3D，1x1，可分离卷积）
夹猪逃的博客
03-10 5545
卷积1. 2D卷积单通道版本多通道版本2. 3D卷积3. 1x1卷积作用应用4. 卷积算法5. 可分离卷积空间可分离卷积深度可分离卷积 1. 2D卷积 卷积的目的是从输入中提取有用的特征。在图像处理中，卷积可以选择多种不同的滤波器。每种类型的过滤器都有助于从输入图像中提取不同的方面或特征，例如横向/纵向/对角线边缘。同样，在卷积神经网络中，通过卷积，利用训练过程中自动学习权值的滤波器来提取不同的特征。然后，所有这些提取的特征被“组合”以做出决定。 卷积有几个优点，如权值共享和平移不变性。卷积还考虑了像素的空
深度学习CV方向学习笔记4 —— 1×1卷积核的作用
qq_33909645的博客
10-13 1909
个人学习神经网络相关知识的学习记录，本帖记录的是关于1×1卷积核的知识。 学习资料来源于各博主的帖子、知乎、b站等，在个人理解的基础上加以总结，可能存在理解有误之处，欢迎指正！
CS231n课程笔记翻译：卷积神经网络笔记1
08-03
7. **结构优化**：为了进一步减小参数数量，有时会将全连接层转换为卷积层，如在AlexNet中引入的1x1卷积，它可以在保持计算量的同时减少参数。 8. **案例研究**：LeNet、AlexNet、ZFNet、GoogLeNet和VGGNet是CNNs...
1x1卷积核的理解
myc的博客
09-11 774
1x1卷积核的作用主要有两点： 1、实现跨通道的信息融合 2、实现通道数的升维与降维 3、增加网络的非线性 实现跨通道信息的融合：加入当前层的特征矩阵为224x224x100，而下一层想要得到224x224x50，这时就可以通过1x1的卷积核进行跨通道信息融合，当然这时也可以通过3x3或5x5的卷积核构建出符合下一层224x224x50的特征矩阵，但是使用1x1卷积核，起到了减少参数的...
1×1卷积在神经网络中的理解和应用
gary101818的博客
05-04 2640
1×1卷积 我们经常会在各种网络中看到1×1的卷积核，这是一个非常实用的卷积核，那么为什么要使用1×1的卷积核呢？ 我们可以从两个角度进行理解 信息融合 1×1卷积运算可以将多个通道的信息进行融合，例如上图中三个通道进行卷积后，变为一个通道，不同通道相同位置的像素会被加权相加在结果像素中。 在MobileNet中，需要进行Depthwise和pointwise操作： Depthwise：将每一个通道分为一个组，每组一个卷积核专门负责这一个通道的卷积，相比于普通的卷积，计算量大大下降 Poinwise:
1x1卷积的作用
风信子的猫Redamancy的快乐星球
10-17 1148
1x1卷积的作用 1. 前言 往往很多人喜欢把事情搞得复杂，显得高大上，却并不实用，殊不知有时候简单的想法才是最美的。就好像是一堆巧妙的数学公式推导，常常有某一个极简的数学公式在作支撑，奇技淫巧无处不在。此外，研究算法的乐趣之一就是存在这些神奇的地方。如果是自己发现会很有成就感，如果在别人的思想中发现也会产生共鸣。 今天要记录 CNN 中的 1x1 卷积的神奇之处，或者说有什么用？当然我承认，我也是之前被问到这个问题！！当时想法是因为 input 的 feature maps 是有 channel
一文读懂卷积神经网络中的1x1卷积核
热门推荐
阿木寺的博客
07-18 3万+
前言 在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念[1]。 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸（一般是奇数x奇数）。卷积核的个数就对应输出的通道数（chan...
1X1卷积的作用
idwtwt的专栏
10-13 1142
  上图原来输入是6个feature，然后经过1x1的卷积核（实质是经过学习到的6个权重调节的线性叠加）得到一个特征图F11有四个1X1的卷积核，则得到4个特征图，分别为F11，F12，F13，F14。这样原来的6个特征图，变为了4个特征图，实现了降维。同样 如果卷积核大于原来的特征图，则实现升维。 参考： https://www.zhihu.com/question/56024942...
CNN: 1x1卷积层的精妙之处
cedi9117的博客
11-02 1212
现在各种神经网络都会用到1x1 conv，它到底起到什么作用呢？要回答这个问题，先从最经典的Inception模型说起，Figure 1是Inception-ResNet-v2的block架构图。 作用一：改变矩阵维度 block中每个sublayer的第一层都1x1 conv，它在这里的作用之一是降维，减少运算量–feature map channel数越少，卷积操作需要的计算量越小。但就像...
1x1卷积
lg201601的博客
05-24 350
1X1卷积核 升维、降维：减少训练参数量。比较典型的例子就是残差结构： 简单对比一下： 左图参数量：3*3*64*2 = 1152 右图参数量：1*1*64 +1*1*256 + 3*3*64 = 896 顺带贴俩个公式： 增加网络的非线性： 在保证了feature map尺寸没有变化也即分辨率没有变化的前提，利用其后接的非线性激活函数，增加网络的非线性结构，可以把网络做的很深。（这有个疑问？增加非线性而且还DEEP会梯度消失吗？？？） 跨通道信息交互 在升维降维的过程中可..
深度学习笔记（六）：1x1卷积核的作用归纳和实例分析
呆呆象呆呆的博客
07-16 1万+
文章目录一、1x1卷积核介绍二、举例说明实际作用例子1：线性变换例子2：降低通道数（归纳整理进行一次输入通道间的非线性映射）三、1x1卷积核作用降低/提升通道数增加非线性跨通道信息交互（channal 的变换）四、1x1卷积应用InceptionResNet参考文献待看文献 一、1x1卷积核介绍 1x1卷积核，又称为网中网（Network in Network）。 其实1x1卷积，可以看成一种全连接（full connection）。 二、举例说明实际作用 例子1：线性变换 这里通过一个例子来直观地介绍1x
深度学习基础：卷积神经网络详解
1x1卷积核不考虑输入的高和宽维度，主要作用于通道维度，可以理解为对不同通道之间的特征进行混合和减少通道数。在某些情况下，1x1卷积层能够实现与全连接层类似的功能，但计算效率更高，因为减少了参数数量和计算量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值