2024/9/24有关1x1卷积核

最新推荐文章于 2024-10-09 14:42:01 发布
最新推荐文章于 2024-10-09 14:42:01 发布
阅读量331 收藏 1
点赞数 3
文章标签： 论文阅读 深度学习 人工智能 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56487684/article/details/142486380
版权

深度学习笔记（六）：1x1卷积核的作用归纳和实例分析_1x1卷积降维-CSDN博客

从这篇文章写的很好，主要讲的就是1x1卷积核有降维作用，还有就是线性映射作用（一般步进长度设置为的为1，也相当于是全连接了）。 还有个作用就是降低通道数，当被卷积的对象有多个通道时，1x1x通道数  进行卷积，可以得到一个只有一层的featuremap。（下图也来源于上面博客）

1. 实现升维或降维（注：卷积核的通道数一定是和被卷积的对象通道数相同的）（一个卷积核卷出来就是一个通道，n个卷积核卷出来就是n个通道，所以卷积核个数大于原来的通道数就是升维，小于就是降维）

2.跨通道的信息交互（每次卷积后不是通道数变了吗，不就是叫跨通道的信息交互）

3.减少卷积核参数（卷积后通道数变小了，这样下一个再卷积的卷积核不久参数变少了（因为卷积核的通道数要和被卷积的通道数一样））

4.增加非线性映射的次数（如果是用卷积核升维，则卷积出的每个通道都可以进行Relu函数激活，不就增加了非线性映射的次数了）

参考视频：1x1卷积核的作用_哔哩哔哩_bilibili

皮卡丘裤不酷
关注
深度学习基础学习-1x1卷积核的作用（CNN中）
小夭的博客
11-09 2万+
1x1卷积核作用
详解 1x1 卷积核
绿色羽毛
11-17 2344
表面看来，1x1 卷积核似乎并不是真正的滤波器，它只是将图像的每个点都乘以 1 个权重，再加上 1个偏置；因此，通过 N个 1x1 卷积核，只需少量参数，就能将 M张图像变为 N张图像； 应用场景 如需将图像分为 N类，可在最后用 1x1 卷积层 将 M张图像转换为 N张图像，在通过全局池化变为 N个数字，送入 Softmax计算输出； 可用 1x1 卷积层作为 瓶颈层。假设输入通道是 256个，要求经过 3x3卷积，最后输出通道也是 256个，那么有 2种实现方式： 直接送入3x3 卷积层，
神经网络中的1x1卷积核
遥远的她
02-24 2125
本文参考自CVer公众号的文章"一文读懂神经网络中的1x1卷积核"，但我在读他的文章时觉得作者对1x1卷积核的理解或阐述有失偏颇，特此记文来发表我的看法，文中图片都摘自CVer的博文。 在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念。 1. 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能...
1x1卷积核作用
yueguang8的博客
02-21 764
1x1卷积核可以控制channel的升降，减少参数计算量以及增加网络的非线性表达能力
CNN 中， 1X1卷积核的作用
Bebr的博客
01-22 2825
1x1卷积最初引起研究者的重视应该是在Network in Network这篇文章里，后面在GoogLeNet和ResNet中都使用了1x1卷积，那么1x1卷积到底有什么用呢？ 我认为主要作用有三点： 1. 实现跨通道的信息交互和整合。1x1卷积核只有一个参数，当它作用在多通道的feature map上时，相当于不同通道上的一个线性组合，实际上就是加起来再乘以一个系数，但是这样输出的featu...
1x1卷积核如何降低参数量
Bryan__的专栏
08-17 1万+
本文介绍1*1的卷积核与googlenet里面的Inception。正式介绍之前，首先回顾卷积网络的基本概念。  1. 卷积核：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸。卷积核的个数就对应输出的通道数，这里需要说明的是对于输入的每个通道，
深度学习小记 1x1卷积核的几个作用
qq_33329316的博客
12-01 603
1x1卷积核的作用 1 灵活的改变数据维度 减少参数量和计算量 改变数据维度这个很常见 比如输入一个（28,28.256）的特征图 通过 一个（1，1，256，16）的卷积核卷积以后（假设步长是1p=0 ） 那么结果就是变成一个（28，28，16）的特征图 不用多解释了！ 简单解释一下上图 首先上面的图是正常的 参数量简单计算一下 s = 1 , p = 2 首先输入是28*28*256的特征图 所以卷积核参数量为 5*5*256 一共有32 个 参数量
2024/9/17 pytorch-卷积神经网络
m0_58285219的博客
09-17 1683
pytorch有很多接口，其中的torch.nn可以让我们方便的调用以便生成神经网络各层是一个构成神经网络层的一个基本类别，一般生成一个类别来继承nn.moduletorch.tensor(a)将a初始化为一个tensor类型数据。
1X1卷积核到底有什么作用
xys430381_1的专栏
09-17 860
转自 https://blog.csdn.net/wonengguwozai/article/details/72980828 1*1的卷积核在NIN、Googlenet中被广泛使用，但其到底有什么作用也是一直困扰的问题，这里总结和归纳下在网上查到的自认为很合理的一些答案，包括1）跨通道的特征整合2）特征通道的升维和降维 3）减少卷积核参数（简化模型） 部分转载自caffe.cn 作用： 实现...
一文读懂卷积神经网络中的1x1卷积核
热门推荐
阿木寺的博客
07-18 3万+
前言 在介绍卷积神经网络中的1x1卷积之前，首先回顾卷积网络的基本概念[1]。 卷积核（convolutional kernel）：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸（一般是奇数x奇数）。卷积核的个数就对应输出的通道数（chan...
【深度学习】CNN 中 1x1 卷积核的作用
frank 的专栏
10-19 1万+
最近研究 GoogLeNet 和 VGG 神经网络结构的时候，都看见了它们在某些层有采取 1x1 作为卷积核，起初的时候，对这个做法很是迷惑，这是因为之前接触过的教材的例子中最小的卷积核是 3x3 ，那么，1x1 的卷积核有什么意义呢？ 最初应用 1x1 卷积核的神经网络是 Network In Network，然后 GoogLeNet 和 VGG 也不约而同的更正了。 他们在论文中解释，大概有下...
【文献速读】Inception发展和1X1卷积核
weixin_44560088的博客
09-29 539
  在速读文章前，我们要认识一下1X1卷积核。常用的卷积核有1X1，3X3，5X5(奇数)。根据一些文章的经验，更大的卷积核没有太大的意义。   卷积层输入输出形状的计算公式： N=(W−F+2P)/S+1N = (W − F + 2P )/S+1N=(W−F+2P)/S+1   卷积核的形状为1X1，令步长S=1S=1S=1,令padding=1padding=1padding=1即 N=(W−1+2×0)/1+1=WN = (W −1 + 2\times 0)/1+1=WN=(W−1+2×0)/1+1=
论文阅读笔记-Reformer: The Efficient Transformer
mohen_777的博客
10-09 297
原始Transformer结构提出后，其中的Attention的L2计算复杂度以及整体模型的计算内存空间占用一直都是优化的一个方向。本篇文章提出的Reformer模型，通过改进Attention方式、可逆层等，来优化计算复杂度和内存空间。
论文阅读：On determining the hinterlands of China‘s foreign trade container ports
博客简介
10-09 691
集装箱港口腹地的边界线，只要存在，就可以作为未来港口发展和基础设施规划的参考点。在早期划定中国港口腹地的努力中，要么考虑的港口数量有限，要么仅根据港口总吞吐量划定腹地。因此，这些研究都没有让我们清楚地了解共享腹地的特征。为了解决这些缺点，本文使用隶属度方法和Huff模型，尽可能地描绘了中国20个主要外贸集装箱港口的腹地。结果表明，中国腹地存在着激烈的港口竞争，不同类型港口的腹地特征在范围和空间连续性上存在差异。我们的研究对中央和地方政府以及港口当局具有重要的政策意义。
11、论文阅读：无监督夜间图像增强：层分解与光效抑制的结合
最新发布
DQHNB的博客
10-09 688
夜间图像不仅受到低光的影响，而且还受到光的不均匀分布的影响。现有的夜间能见度增强方法大多集中在增强弱光区域。这不可避免地导致明亮区域中的过度增强和饱和，例如受光效应（眩光、泛光灯等）影响的那些区域。为了解决这个问题，我们需要抑制明亮区域中的光效应，同时提高暗区域的强度。考虑到这个想法，我们引入了一种无监督的方法，它集成了层分解网络和光效应抑制网络。给定一张夜间图像作为输入，我们的层分解网络学习分解阴影，反射和灯光效果层，由无监督的特定层先验损失指导。我们的光效应抑制网络进一步。
论文阅读：InternVL v1.5| How Far Are We to GPT-4V? 通过开源模型缩小与商业多模式模型的差距
a486259的博客
10-06 1215
基于强视觉编码器 、动态高分辨率、高质量双语数据集，InternVL v1.5显示了具有和专有的商业模型相竞争的性能，在18个多模态基准中的8个中取得了最先进的结果。InternVL1.5，是一个开源的多模态大型语言模型（MLLM），可以在多模态理解中弥合开源和专有商业模型之间的能力差距。我们介绍了三个简单的改进： (1)强视觉编码器：我们探索了大规模视觉基础模型的持续学习策略InternViT-6b，提高其视觉理解能力，并使其可以在不同的llm中转移和重用。(2)动态高分辨率。
论文阅读笔记-XLNet: Generalized Autoregressive Pretraining for Language Understanding
mohen_777的博客
10-08 842
XLNet预训练阶段和BERT差不多，不过去除了Next Sentence Prediction，作者发现该任务对结果的提升并没有太大的影响。输入的值还是 [A, SEP, B, SEP, CLS]的模式，A与B代表的是两个不同的片段。更详细的实现细节可以参考论文源码。仍使用自回归语言模型，未解决双向上下文的问题，引入了排列语言模型。
1x3和3x1卷积核的区别
05-04
1x3卷积核和3x1卷积核的区别在于它们的形状和用途。 1x3卷积核的形状是一行三列，它通常用于卷积操作中的横向滤波，例如在图像处理中，1x3卷积核可以用于检测图像中的水平边缘。 而3x1卷积核的形状是三行一列，它通常用于卷积操作中的纵向滤波，例如在图像处理中，3x1卷积核可以用于检测图像中的垂直边缘。 在深度学习中，1x3和3x1卷积核通常用于卷积神经网络（CNN）中的一维卷积层，以处理时间序列数据和文本数据等一维数据。它们可以有效地捕捉输入数据的局部模式和特征，并将这些信息传递给后续的网络层进行分类或回归等任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值