Conv1*1卷积，为什么能降维

最新推荐文章于 2024-06-10 07:13:00 发布
最新推荐文章于 2024-06-10 07:13:00 发布
阅读量1.3w 收藏 59
点赞数 21
分类专栏： opencv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34419607/article/details/109223507
版权

1*1卷积 深度学习 通道降维 网络压缩 特征融合
关键词由CSDN通过智能技术生成

 

所谓1*1默认是w和h上的1*1，但对于高维度，其实应该是这样

就是H和W不变，而是channel这个维度上降维，如图对于channel与原三维矩阵相同的1*1卷积核，直接channel就给干到了1维，而原来是32维。

对应的，如果1*1卷积核的第三维度设置为31，那么就两个维度的了，也就是6*6*2了，这里可以灵活设置自己最后想得到的维度

 

MurasameFan
关注
  • 21
    点赞
  • 踩
  • 59
    收藏
    觉得还不错? 一键收藏
  • 13
    评论
专栏目录
一文读懂卷积神经网络中的1x1卷积核
阿木寺的博客
07-18 3万+
前言 在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念[1]。 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸（一般是奇数x奇数）。卷积核的个数就对应输出的通道数（chan...
关于1*1 conv kernel
Do not mess it up
10-12 1292
1x1 convolution. As an aside, several papers use 1x1 convolutions, as first investigated by Network in Network. Some people are at first confused to see 1x1 convolutions especially when they come
AI大视觉（十二） | 1x1卷积核为什么有效？
aibigtruth的博客
07-06 523
本文来自公众号“AI大道理” 之前只是知道1x1的卷积核用在Inception模块中具有降维的作用，并没有认真的思考它是怎么样实现降维的，以及它还有哪些作用。 控制特征图的深度 1x1的卷积核由于大小只有1x1，所以并不需要考虑像素跟周边像素的关系，它主要用于调节通道数，对不同的通道上的像素点进行线性组合，然后进行非线性化操作，可以完成升维和降维的功能。 如下图所示，选择2个1x1大小的卷积核，那么特征图的深度将会从3变成2，如果使用4个1x1的卷积核，特征图的深度将会由3变成4。 .
1x1卷积的作用
最新发布
flyfish
06-10 1357
flyfish
深度学习CV方向学习笔记4 —— 1×1卷积核的作用
qq_33909645的博客
10-13 1619
个人学习神经网络相关知识的学习记录，本帖记录的是关于1×1卷积核的知识。 学习资料来源于各博主的帖子、知乎、b站等，在个人理解的基础上加以总结，可能存在理解有误之处，欢迎指正！
深度学习中，卷积运算为何能对图像矩阵进行升维降维？
厚积薄发的博客
08-15 1117
最近有小伙伴表示不理解1*1卷积为何能对输入矩阵进行升维降维，所以我这里专门来讲一下。当然不止1*1卷积，其实所有不同kernel_size的卷积都能实现降维和升维。现在很多深度学习的第三方库，比如Pytorch、tensorflow帮我们完成了很多基础运算，但作为AI研究者，还是应该知道卷积具体在做什么。在这里，我默认读者知道数学上的卷积运算和互相关运算(cross-correlation)，深度学习中，每一个卷积核实际上进行的是数学上的互相关运算。
InceptionV1----1*1卷积降维
weixin_30709061的博客
05-05 746
使用5x5的卷积核仍然会带来巨大的计算量。为此，文章借鉴NIN，采用1x1卷积核来进行降维。例如：上一层的输出为100x100x128，经过具有256个输出的5x5卷积层之后(stride=1，pad=2)，输出数据为100x100x256。其中，卷积层的参数为128x5x5x256。假如上一层输出先经过具有32个输出的1x1卷积层，再经过具有256个输出的5x5卷积层，那么最终的输出数据仍...
为什么要分别使用1*1，3*3，1*1的卷积核进行降维和升维
热门推荐
Cool_Uncle的博客
12-15 1万+
使用三个不同大小的卷积核是为了减少参数的数量。 1.首先是卷积核的数量问题。 因为一张图片可能有很多特征，所以可能需要学习多个卷积核用来提取图像特征。 图中不同颜色代表不同的特征，需要学习对应数量的卷积核进行特征提取。 对于灰度图像，例如一个图像大小是5×5， 有一个3×3的卷积核对着图像进行卷积，卷积结束后生成一个3×3的矩阵。 如果有2个卷积核对着图像卷积，就会生成两个3×3的矩阵。 同理有多少个卷积核对图像卷积就有多少个矩阵。 这个叫做通道。 如果有4个特征，可以设置4个2维卷积核进行特征提取，提取
1*1卷积核实现降维
weixin_44293973的博客
09-07 2067
比如，某个卷积层的输入有256个特征图，通过64个1*1的卷积核，输出的特征图即为64个。的作用延伸开来说的话挺多，但是其实质是：通过N个1*1的卷积核，能够将M张图像转化为N张图像。3.在XCeption模组中加入1*1卷积，主要负责处理通道间的混合。当然，除此之外还有很多用法，但是万变不离其宗，掌握了核心才能发散。模组中加入1*1卷积，能够保证两边的通道数核图像尺寸一致；1.通过卷积核为1*1的卷积层可以增加网络的。能力，提高网络的表达能力；
03_代码实现卷积操作1
08-03
卷积操作是深度学习中的一种...通过代码实践，可以加深对卷积运算原理的理解，同时也能提升编程技能，为实际项目开发打下坚实基础。在面试或项目开发中，选择合适的编程语言和库可以有效地提高代码的可读性和执行效率。
pytorch实现CNN卷积神经网络
12-20
卷积神经网络（CNN）是一种在深度学习领域中广泛应用的模型，尤其在图像识别任务中表现出色。CNN的核心特征包括局部感受野、权值共享、池化操作等，这些特性使其能够有效地捕捉图像中的特征，并减少了参数的数量，...
urban-area-classification-conv-autoencoder:卷积自动编码器在中国城市区域分类中的应用
04-03
卷积自动编码器（Convolutional Autoencoder, CAE）是一种深度学习模型，它结合了卷积神经网络（Convolutional Neural Network, CNN）的特点与自编码器（Autoencoder）的理论，主要用于数据的降维、特征提取以及图像...
Convolutional Auto-Encoders卷积自编码器（Matlab代码）
07-17
卷积自编码器（Convolutional Auto-Encoder, CAE）是深度学习领域中的一个关键模型，主要用于数据的降维、特征提取以及图像去噪等任务。它结合了卷积神经网络（Convolutional Neural Network, CNN）的局部连接和权值...
基于自适应卷积特征的目标跟踪算法
02-12
对VGG-Net模型中conv3-4层卷积特征进行主成分分析, 利用自适应降维技术将conv3-4层特征维数由256维降至130维。在检测区域求取分类器最大响应位置及其目标尺度信息, 并对最大响应位置的目标进行置信度比较, 训练在线...
卷积神经网络中用1*1 卷积有什么作用或者好处呢？
小白学视觉
10-04 1036
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达本文转自：AI遇见机器学习地址：https://www.zhihu.com/question/56024942编辑：机器学习算法与自然语言处理作者：陈运锦个人的几点理解：https://zhuanlan.zhihu.com/p/35814486目录：part I ：来源part II ：应用part III ：作用（降维、...
深度学习笔记（六）：1x1卷积核的作用归纳和实例分析
呆呆象呆呆的博客
07-16 8354
文章目录一、1x1卷积核介绍二、举例说明实际作用例子1：线性变换例子2：降低通道数（归纳整理进行一次输入通道间的非线性映射）三、1x1卷积核作用降低/提升通道数增加非线性跨通道信息交互（channal 的变换）四、1x1卷积应用InceptionResNet参考文献待看文献 一、1x1卷积核介绍 1x1卷积核，又称为网中网（Network in Network）。 其实1x1卷积，可以看成一种全连接（full connection）。 二、举例说明实际作用 例子1：线性变换 这里通过一个例子来直观地介绍1x
1x1卷积核的作用
baicaiBC3的博客
01-07 2782
之前只是知道1x1的卷积核用在Inception模块中具有降维的作用，并没有认真的思考它是怎么样实现降维的，以及它还有哪些作用。于是查阅了一些资料，并记录了它的一些作用，如下： 一、灵活的控制特征图的深度 1x1的卷积核由于大小只有1x1，所以并不需要考虑像素跟周边像素的关系，它主要用于调节通道数，对不同的通道上的像素点进行线性组合，然后进行非线性化操作，可以完成升维和降维的功能，如下图所示，选择2个1x1大小的卷积核，那么特征图的深度将会从3变成2，如果使用4个1x1的卷积核，特征图的深度将会由3变成4。
1*1卷积核的作用
hxxjxw的博客
05-17 1358
1*1的卷积核能够实现维度的改变 32是有32个通道，32个channel 如果我们有16个卷积核 ，那么我们的这里应该是16 即新图片的channel数是16 新突破的channel数和原图片的channel数完全没相关 我们的卷积核是[16,32,1,1] 这个32是和原图的通道数对应的，因为我们每个通道都要做channel 而这个16是我们自己选择，有16种feature来做，比如锐化、模糊、浮雕等等 所以1*1的卷积核实现了一个什么效果——维度的改变 ...
深度学习--人工神经网络的研究的概念（百度百科）
qq_36069590的博客
09-10 5182
深度学习 （人工神经网络的研究的概念）   记录一下   https://baike.baidu.com/item/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/3729729 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 [1]  ...
编辑python代码打印出网络结构层级和输出尺寸等信息。Conv1*1,s=1 160*160*128 conv3*3,s=2, p=1,g=128 80*80*256 80*80*128 Conv1*1,s=1 80*80*256 Conv3*3, s=1,p=1,g=256 80*80*256 Conv1*1,s=1 80*80*256 Conv1*1,s=1 80*80*512 Avgpool1*1*512 Linear1*10 Softmax 1*10
07-17
你可以使用以下代码来打印网络结构层级和输出尺寸等信息： ```python import torch import torch.nn as nn class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 128, kernel_size=1, stride=1) self.conv2 = nn.Conv2d(128, 256, kernel_size=3, stride=2, padding=1, groups=128) self.conv3 = nn.Conv2d(256, 128, kernel_size=1, stride=1) self.conv4 = nn.Conv2d(128, 256, kernel_size=3, stride=1, padding=1, groups=256) self.conv5 = nn.Conv2d(256, 256, kernel_size=1, stride=1) self.conv6 = nn.Conv2d(256, 512, kernel_size=1, stride=1) self.avgpool = nn.AvgPool2d(kernel_size=1) self.linear = nn.Linear(512, 10) self.softmax = nn.Softmax(dim=1) def forward(self, x): x = self.conv1(x) print("Conv1*1,s=1:", x.size()) x = self.conv2(x) print("conv3*3,s=2, p=1,g=128:", x.size()) x = self.conv3(x) print("80*80*128:", x.size()) x = self.conv4(x) print("Conv1*1,s=1:", x.size()) x = self.conv5(x) print("80*80*256:", x.size()) x = self.conv6(x) print("Conv1*1,s=1:", x.size()) x = self.conv6(x) print("80*80*512:", x.size()) x = self.avgpool(x) print("Avgpool1*1*512:", x.size()) x = x.view(x.size(0), -1) x = self.linear(x) print("Linear1*10:", x.size()) x = self.softmax(x) print("Softmax:", x.size()) return x # Create an instance of the network net = Net() # Create a random input tensor with shape (batch_size, channels, height, width) input_tensor = torch.randn(1, 3, 160, 160) # Pass the input tensor through the network output_tensor = net(input_tensor) ``` 这段代码定义了一个名为`Net`的类，该类继承自`nn.Module`。在构造函数`__init__`中，我们定义了网络的各个层级，包括卷积层、池化层和全连接层。在前向传播函数`forward`中，我们打印了每个层级的输出尺寸。 你可以根据需要修改网络结构和输入张量的形状来适应你的具体情况。运行代码后，你将会看到每个层级的输出尺寸打印出来。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值