解析resenet中为什么要使用1*1、3*3、1*1卷积核进行降维和升维？

最新推荐文章于 2023-08-15 14:56:44 发布
最新推荐文章于 2023-08-15 14:56:44 发布
阅读量818 收藏 1
点赞数
文章标签： 深度学习 神经网络 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43642885/article/details/129836310
版权

目的：使用三个不同大小的卷积核的目的主要是为了减少神经网络训练过程中参数的数量。

卷积：在图像处理中，卷积经常作为特征提取的有效方法，一幅图像经过卷积操作后得到的结果被称为特征映射（feature map），下图给出了在几种滤波器，以及对应的特征映射；

 

起落安妥
关注
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
pytorch笔记（四）nn.Conv1d、nn.Conv2d、nn.Conv3d
_yuki_
08-17 6310
概念： nn.Conv1d:常用在文本 (B,C,L) (batch,channel,sequence_len) （批数量，通道数，句子长度） nn.Conv2d:常用在图像 (B,C,H,W) (batch,channel,height,width) （批数量，通道数，高度，长度） nn.Conv3d:常用在（时序）帧图像 (B,C,D,H,W) (batch,channel,depth,height,width) （批...
为什么要分别使用1*1，3*3，1*1的卷积核进行降维和升维
热门推荐
Cool_Uncle的博客
12-15 1万+
使用三个不同大小的卷积核是为了减少参数的数量。 1.首先是卷积核的数量问题。 因为一张图片可能有很多特征，所以可能需要学习多个卷积核用来提取图像特征。 图中不同颜色代表不同的特征，需要学习对应数量的卷积核进行特征提取。 对于灰度图像，例如一个图像大小是5×5， 有一个3×3的卷积核对着图像进行卷积，卷积结束后生成一个3×3的矩阵。 如果有2个卷积核对着图像卷积，就会生成两个3×3的矩阵。 同理有多少个卷积核对图像卷积就有多少个矩阵。 这个叫做通道。 如果有4个特征，可以设置4个2维卷积核进行特征提取，提取
resnet网络中1*1卷积核如何进行升维和降维
Rain_FeiFei的博客
02-15 926
1*1卷积核作用
1*3 3*1 卷积实现
yyfhq的博客
07-21 2412
1*3 3*1 卷积实现过程中，步长变化与3*3卷积相似，值得注意的是，padding部分需要作出相应的调整，否则输出的特征图大小无法实现整倍数变化
3*3卷积+1*3卷积+3*1卷积=白给的精度提升
喜欢打酱油的老鸟
12-02 9371
2019-11-28 04:33:41 作者 | BBuf 编辑 | 唐里 ICCV2019: 通过非对称卷积块增强CNN的核骨架 下面要介绍的论文发于ICCV2019，题为「ACNet:Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric ConvolutionBlocks」，axriv地址为：http...
卷积神经网络+resnet
m0_67357141的博客
11-22 1245
卷积目的：把原始输入的图像转化为一个特征矩阵（特征图），矩阵的每一个数值代表原始图像一个小区域的特征值，在一个小区域也可以提多个特征。卷积核就相当于神经网络的权重参数，1×1的卷积核和全连接的效果差不多。
张飞硬件1~20部+笔记完整版百度网盘链接.txt
05-12
根据提供的文件信息，这里主要涉及的是“张飞硬件1~20部”的视频教程及其相关笔记。接下来，我们将对这些视频教程可能涵盖的核心知识点进行详细梳理...希望本概览能为想要深入了解电子硬件领域的读者提供有价值的指引。
对BMP图像进行5*5的卷积核运算
qq_34175893的博客
04-28 1万+
未完待续（源代码已完成，因为作业还没结束，因此不便于上传源代码，后续会补上的）....#在做并行计算的时候有这么一个作业从bmp图片文件中读取图像像素数据，使用5×5的卷积核，步长为1，对该图像进行卷积运算，MPI并行实现图像卷积过程。请同学们认真查看附件，明确要求。要求：1. 将卷积核和卷积后的像素矩阵输出到文本文档以供验证。2. 计算程序并行部分的运行时间！！在该程序段首尾加入返回时间戳的函数...
android NFC （读取M1卡内容）
06-14
在Android平台上，NFC（Near Field Communication）技术允许设备之间进行短距离通信，通常用于数据交换、支付和其他便捷的应用。M1卡，也称为MiFare Classic卡，是一种常见的接触式和非接触式智能卡，广泛应用于门禁...
神经网络ror resenet模型
12-14
神经网络ror resenet模型 cifar10准确率89% cifar100准确率72%
resnet50中的bottleneck
weixin_42592399的博客
12-21 1453
ResNet50是一种深度卷积神经网络，它使用了所谓的"bottleneck"结构来加速训练过程并提高准确性。 在ResNet50中，bottleneck结构通常指的是一种卷积层的组合，其中包括一个小卷积层(通常具有1x1卷积核)，跟着是一个中间的卷积层(通常具有3x3卷积核)，然后是另一个小卷积层(同样具有1x1卷积核)。这种结构有助于减少模型的参数数量，同时保留足够的表示能力来捕捉图像的细节信...
为什么卷积核通常都是奇数（1x1、3x3...）
01-20 1986
1，为了方便same padding时的处理。如步长为1时，要补充k-1的zero padding才能使输出输出的尺寸一致，这时候如果核大小k是偶数，则需要补充奇数的zero padding，不能平均分到feature map的两侧。 padding时对称：保证了 padding 时，图像的两边依然相 对称 。 在卷积时，我们有时候需要卷积前后的尺寸不变。这时候我们就需要用到padding。假设图像的大小，也就是被卷积对象的大小为nn，卷积核大小为kk，padding的幅度设为(k-1)/2时，卷积后的输
Conv1*1卷积，为什么能降维
村雨的博客
10-22 1万+
所谓1*1默认是w和h上的1*1，但对于高维度，其实应该是这样 就是H和W不变，而是channel这个维度上降维，如图对于channel与原三维矩阵相同的1*1卷积核，直接channel就给干到了1维，而原来是32维。 对应的，如果1*1卷积核的第三维度设置为31，那么就两个维度的了，也就是6*6*2了，这里可以灵活设置自己最后想得到的维度 ...
复盘：下面的这两个随机数组“a”和“b”：请问数组c=a+b的维度是多少
weixin_46838716的博客
07-12 546
1）b（列向量）复制3次，以便它可以和A的每一列相加，所以：c.shape = (2, 3) 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。
深度学习中，卷积运算为何能对图像矩阵进行升维降维？
最新发布
厚积薄发的博客
08-15 1207
最近有小伙伴表示不理解1*1卷积为何能对输入矩阵进行升维降维，所以我这里专门来讲一下。当然不止1*1卷积，其实所有不同kernel_size的卷积都能实现降维和升维。现在很多深度学习的第三方库，比如Pytorch、tensorflow帮我们完成了很多基础运算，但作为AI研究者，还是应该知道卷积具体在做什么。在这里，我默认读者知道数学上的卷积运算和互相关运算(cross-correlation)，深度学习中，每一个卷积核实际上进行的是数学上的互相关运算。
AI大视觉（十二） | 1x1卷积核为什么有效？
aibigtruth的博客
07-06 571
本文来自公众号“AI大道理” 之前只是知道1x1的卷积核用在Inception模块中具有降维的作用，并没有认真的思考它是怎么样实现降维的，以及它还有哪些作用。 控制特征图的深度 1x1的卷积核由于大小只有1x1，所以并不需要考虑像素跟周边像素的关系，它主要用于调节通道数，对不同的通道上的像素点进行线性组合，然后进行非线性化操作，可以完成升维和降维的功能。 如下图所示，选择2个1x1大小的卷积核，那么特征图的深度将会从3变成2，如果使用4个1x1的卷积核，特征图的深度将会由3变成4。 .
深度学习笔记（六）：1x1卷积核的作用归纳和实例分析
呆呆象呆呆的博客
07-16 1万+
文章目录一、1x1卷积核介绍二、举例说明实际作用例子1：线性变换例子2：降低通道数（归纳整理进行一次输入通道间的非线性映射）三、1x1卷积核作用降低/提升通道数增加非线性跨通道信息交互（channal 的变换）四、1x1卷积应用InceptionResNet参考文献待看文献 一、1x1卷积核介绍 1x1卷积核，又称为网中网（Network in Network）。 其实1x1卷积，可以看成一种全连接（full connection）。 二、举例说明实际作用 例子1：线性变换 这里通过一个例子来直观地介绍1x
关于CNN网络中1X1卷积核降维或升维的理解
liqingzhuang2016的博客
12-26 1万+
网上都说1X1的卷积核可以降维或升维。我的理解是，如果输入层x * y * z, 深度z（通道）大于1时(如果是第一层，即要求图像像素为多 个分量，如RGB，相当于深度为3；如果是中间层，即为feature map 是多个 )可以通过1X1的卷积实现输出层上降低通道数，也就是所谓的降维。当然前提是该1X1层设计的输出特征个数 feature map 数 x * y * z ，则会升维。 不
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值