NIN与1×1卷积核的关系

最新推荐文章于 2024-05-20 15:42:28 发布
最新推荐文章于 2024-05-20 15:42:28 发布
阅读量1.5k 收藏 4
点赞数 1
分类专栏： 深度学习相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37791134/article/details/82388352
版权
本文探讨了1×1卷积核在卷积神经网络中的作用，特别是在Network in Network(NIN)结构中的应用。1×1卷积核能实现通道间的聚合，降低维度并减少参数量。NIN通过引入1×1卷积核以提取非线性特征。此外，文章解释了如何用1×1卷积核替代全连接层，并阐述了这种转换带来的好处，如适应不同尺寸输入和减小计算复杂度。
摘要由CSDN通过智能技术生成

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/haolexiao/article/details/77073258

前天去面某公司的AI部门，被问到了关于1×1卷积核的相关问题，因为之前没有了解过，所以也没有答上来，回来查阅了相关资料，特此总结一番。

1×1的卷积核

卷积核在CNN中经常被用到，一般常见的是3×3的或者5×5的，见下图，这里不多赘述 
这里写图片描述这里写图片描述 
那么1×1的卷积核，就像上面那样。 
一般1×1的卷积核本质上并没有对图像做什么聚合操作，以为就是同一个ww去乘以原图像上的每一个像素点，相当于做了一个scaling 
1×1卷积核最初是在Network in Network这个网络结构中提出来的。它用了比AlexNet更少的参数，达到了跟其一样的效果。

1×1卷积核的作用

那么1×1卷积核有什么作用呢，如果当前层和下一层都只有一个通道那么1×1卷积核确实没什么作用，但是如果它们分别为m层和n层的话，1×1卷积核可以起到一个跨通道聚合的作用，所以进一步

最低0.47元/天 解锁文章
快乐成长吧
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
制作批处理8.1-nin1-kms
03-01
以管理员身份执行制作批处理，一站式打包制作生成Win8.1_X64_Nin1_kms.iso。 批处理执行前，最好是关闭所有浏览器窗口和其他运行软件。批处理执行期间，请不要打开工作分区中一些临时产生的目录与相应的文件，或...
深度学习基础学习-1x1卷积核的作用（CNN中）
小夭的博客
11-09 2万+
1x1卷积核作用
【机器学习】关于CNN中1×1卷积核和Network in Network的理解
haolexiao的专栏
08-10 2万+
前天去面某公司的AI部门，被问到了关于1×1卷积核的相关问题，因为之前没有了解过，所以也没有答上来，回来查阅了相关资料，特此总结一番。 1×1的卷积核卷积核在CNN中经常被用到，一般常见的是3×3的或者5×5的，见下图，这里不多赘述 那么1×1的卷积核，就像上面那样。 一般1×1的卷积核本质上并没有对图像做什么聚合操作，以为就是同一个ww去乘以原图像上的每一个像素点，相当于做了一个scali
卷积核在卷积层中的作用
最新发布
A18164648的博客
05-20 677
这是因为在卷积神经网络中，通常情况下，卷积核的深度（即通道数）是由网络的架构和设计决定的，并且往往在网络的不同层中是固定的。通常情况下，每个通道对应一个不同的卷积核，每个卷积核会学习捕捉输入数据的不同特征。假设我们有一个5×5的彩色图像（通道数为3），和一个3×3×3 的卷积核，我们需要计算每个通道的卷积。通常情况下，在卷积神经网络中，一个卷积层的输出通道数（或者说特征图的数量）等于该层使用的卷积核的数量。例如，当我们说一个层有一个 3x3 的卷积核时，我们默认了这个卷积核的深度与输入数据的通道数相同。
深度学习《CNN架构续篇 - 1乘1卷积》
qq_29367075的博客
10-03 595
这里专门花一个小篇幅介绍下1*1卷积核。承上启下，为后面的内容做学习铺垫。 一：11 卷积的操作实践 卷积核一般有11，33，55的卷积核，今天来说说这个1*1卷积的使用，假如，步长Stride=1，Padding=1，那么根据之前的计算公式，输出图像就是和输入图像的大小（长度和宽度）是完全一样的了，而且，因为1×1卷积核只有一个参数，那么实际上也就是给元乳香乘以了某个系数，完全的线性变化（也可以理解成一个数字和一个矩阵的数乘运算的过程，多个通道的情况就是多个数乘的结果累加而已）。 比如下面的计算过程：
第四章第三节 多输入通道和多输出通道
dongyunchao123的博客
09-09 1649
前面两节里我们用到的输入和输出都是二维数组，但真实数据的维度经常更高。例如，彩色图像在高和宽2个维度外还有RGB（红、绿、蓝）3个颜色通道。假设彩色图像的高和宽分别是和（像素），那么它可以表示为一个的多维数组。我们将大小为3的这一维称为通道（channel）维。本节我们将介绍含多个输入通道或输出通道的卷积核。 4.3.1 多输入通道 当输入数据含多个通道时，我们需要构造一个输入通道数与输入数据...
TCN时间卷积网络介绍
热门推荐
rosefun96的博客
12-11 2万+
绪论 TCN, Temporal Convolutional Network,时间卷积网络，是一种能够处理时间序列数据的网络结构，论文还评为2018年10大论文。 1. 模型 输入： x0,x1,...,xt{x_0, x_1,..., x_t}x0​,x1​,...,xt​; 输出：y0,y1,...,yt{y_0, y_1,..., y_t}y0​,y1​,...,yt​ 根据输入序列，推断新...
Windows Nin1 3.0
07-17
牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，牛，Windows Nin1 3.0
卷积神经网络进阶（AlexNet、VGG、NiN、GoogleNet）
01-06
重要的计算例题：通道数为3，宽高均为224的输入，经过一层输出通道数为96，卷积核大小为11，步长为4，无padding的卷积层后，得到的feature map的宽高为： (原始宽高 – kernel_size)/步长下取整 + 1 即 （224-11）/4...
NiN 论文总结
01-20
"Network In Network" (NiN) 是一种深度学习模型，主要应用于卷积神经网络（CNN）领域，旨在提升模型在处理局部区域时的识别能力。NiN 的核心思想是用微小的神经网络（通常为多层感知机，MLP）替换传统的卷积层中的...
LSTM的备胎，用卷积处理时间序列——TCN与因果卷积（理论+Python实践）
忽逢桃林的博客
04-15 2万+
什么是TCN TCN全称Temporal Convolutional Network，时序卷积网络，是在2018年提出的一个卷积模型，但是可以用来处理时间序列。 卷积如何处理时间序列 时间序列预测，最容易想到的就是那个马尔可夫模型： P(yk∣xk,xk−1,...,x1)P(y_k|x_k,x_{k-1},...,x_1)P(yk​∣xk​,xk−1​,...,x1​) 就是计算某一个时刻的输出...
卷积神经网络中卷积核的理解、卷积计算过程和1*1卷积核的作用
BigData_Mining的博客
02-20 6595
一. 单通道图像的卷积计算过程 下面各图中所有数学符号的说明如下： n:图片的宽度和高度 n_c:表示图片的通道数 f: 过滤器的尺寸大小 m: 过滤器的数量 Q: 卷积运算后的输出图像的尺寸大小 p：所要填充的像素值，padding=0称为Valid Convolution;为了得到与原始输入图像相同尺寸的输出图像而加入的padding，称...
CNN 、 1*1 卷积核 学习笔记
tangweirensheng的博客
10-08 807
feature map尺寸是指W,H上共享权值的 sliding window, feature map的数量是 channels 卷积层： 滤波器filter个数，卷积层中的权值称为滤波器 filter或 卷积核，使用一个 filter对输入进行卷积得到一个特征图 feature map,使用多个滤波器同时对输入进行卷积得到多个特征图。 感受野 (receptive field) F,滤波器空间局部连接的大小， 3*3， 5*5 零填补 (zero padding) P,卷积过程...
网络中的网络NiN详解+1*1卷积的作用
weixin_43845922的博客
11-10 779
NiN
为什么要分别使用1*1，3*3，1*1的卷积核进行降维和升维
Cool_Uncle的博客
12-15 1万+
使用三个不同大小的卷积核是为了减少参数的数量。 1.首先是卷积核的数量问题。 因为一张图片可能有很多特征，所以可能需要学习多个卷积核用来提取图像特征。 图中不同颜色代表不同的特征，需要学习对应数量的卷积核进行特征提取。 对于灰度图像，例如一个图像大小是5×5， 有一个3×3的卷积核对着图像进行卷积，卷积结束后生成一个3×3的矩阵。 如果有2个卷积核对着图像卷积，就会生成两个3×3的矩阵。 同理有多少个卷积核对图像卷积就有多少个矩阵。 这个叫做通道。 如果有4个特征，可以设置4个2维卷积核进行特征提取，提取
NIN网络和1X1卷积的原理
liuxiangxxl的博客
01-15 821
深度学习 CNN卷积神经网络 LeNet-5详解 https://blog.csdn.net/happyorg/article/details/78274066 卷积神经网络之NiN(2013) https://blog.csdn.net/P_LarT/article/details/83821743 【机器学习】关于CNN中1×1卷积核和Network in Network的理解 ht...
1×1卷积的作用 NiN模型中的1×1卷积
TranSad的博客
02-26 3487
1*1的卷积 原来看面经的时候经常看到这么个问题，问的是关于1*1卷积的好处和特点之类的。1*1的卷积，顾名思义就是用大小为1*1的卷积核去做卷积，但也仅仅是长宽为1，卷积核的通道数不做限制。 通过1*1的卷积，每次只看一个像素点里多个通道的信息，不会识别一个通道里面的其他空间信息。因此1*1卷积侧重于融合一个像素点里3个通道（假如通道是3）的信息，对同一个像素点的不同通道值进行加权求和。 经常有讲解说“可以把1*1的卷积看作全连接层”。这个如何理解呢？ 如图，假设输入图像宽w...
为什么要使用3×3卷积？& 1*1卷积的作用是什么？& 对ResNet结构的一些理解
weixin_45928096的博客
01-14 1万+
为什么要使用3×3卷积？& 1*1卷积的作用是什么？& 对ResNet结构的一些理解 在感受野相同的情况下，三个3×3卷积比一个7×7卷积所需参数要少很多，这无疑减少了模型的复杂度，加快了训练速度。 神经网络将像素空间的信息转化为语义信息。 卷积核和池化使得图像长宽方向的信息逐渐减小，而卷积通道数逐层增加通道信息逐渐增加。 1×1的卷积可以用来降维和升维（匹配维度），在ResidualBlock中减少模型参数数量。
NIN网络（1*1卷积层的意义）
Hhsh672772的博客
04-30 619
Network in Network 经过1×1卷积层后，高和宽是不变的，变化的是通道的数目。 NiN去掉了LeNet/AlexNet/VGG最后的全连接层，取而代之地，NiN使用了输出通道数等于标签类别数的NiN块，然后使用全局平均池化层对每个通道中所有元素求平均并直接用于分类。 NiN重复使用NiN基础块构建网络，NiN基础块由卷积层和代替全连接层的1 × 1卷积层构成。 NiN去除了容易造成过拟合的全连接层。在最后的输出部分，输出通道数等于标签类别数，再使用全局平均池化层获得最后的分类结果。去
经典卷积神经网络NiN
09-30
NiN的卷积过程是先使用一个3x3的卷积核，然后再使用一个1x1的卷积核，最后进行池化操作。通过这种方式，NiN网络能够提取更多的特征，并且提高了网络的准确性和复杂度。NiN网络的应用包括图像分类、目标检测和语义...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值