深度学习之多尺度卷积的发展总结

最新推荐文章于 2024-06-22 09:13:30 发布
最新推荐文章于 2024-06-22 09:13:30 发布
阅读量1w 收藏 95
点赞数 10
分类专栏： 算法 深度学习 文章标签： 深度学习 算法 卷积 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44474718/article/details/106967833
版权

🔴（2019.04-arXiv）Res2Net: A New Multi-scale Backbone Architecture【论文原文】【代码】

💡 原理：

  • 在残差结构中又添加了新的残差快；

在这里插入图片描述

🔴（2019.04-arXiv）OctaveConv: Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave Convolution【论文原文】【代码】【参考】

💡 原理：

  • 将特征图分离成低频信息和高频信息，节省存储和算力；
  • 第一层卷积：输入图像默认全部为高频信息；
  • 中间层卷积：特征图包含低频和高频信息；
  • 最后一层卷积：回复正常特征图。

下图：（作者认为：低频特征图的分辨率仅有高频特征图的一半）
在这里插入图片描述

🔴（2019.04-arXiv）ScaleNet:Data-Driven Neuron Allocation for Scale Aggregation Networks【论文原文】【代码】

💡 原理：

  • 特征图和感受野大小可以动态分配；
  • 初始化，每个尺度的通道数量进行均匀分配，训练网络直至收敛，根据BN层的缩放因子，在满足计算量的前提下，选择其中最重要的一些分支，得到新的网络，重新进行训练该网络。
    在这里插入图片描述

🔴（2019.07-arXiv）MixConv: Mixed Depthwise Convolutional Kernels【论文原文】【代码】

💡 原理：

  • 深度可分离卷积的mix；
  • 分组采用不同的卷积核大小进行计算；
  • 两种分组方法：等分、指数分割；
  • 最后利用NAS搜索出了一个MIxNet网络结构

在这里插入图片描述

🔴（2020.06-arXiv）pycov:Pyramidal Convolution:Rethinking Convolutional Neural Networks forVisual Recognition【论文原文】【代码】

💡 原理：

  • 包含不同尺寸与深度的卷积核（源于SIFT）；
  • 将输入特征分不同的组，进行独立的卷积计算；
  • 每组的通道数不同

在这里插入图片描述
在这里插入图片描述

更多参考：【改进卷积操作的论文】

人工智障之深度瞎学
关注
  • 10
    点赞
  • 踩
  • 95
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
多尺度竞争卷积
shuzfan的专栏
01-12 7461
此次所讲内容来自《Competitive Multi-scale Convolution》, 时间节点2015.121-模型先来看看作者最开始设计的模型：这里着重说明一下Maxout：从r1、r2、r3、r4中选择最大的响应作为输出。由于K*K大小的卷积操作中都采取了pad=K/2、stride=1的操作，因此r1、r2、r3、r4的大小是一致的。增加了Max pooling,最终得到了下图的网络基
深度可分离卷积_MixNets将多尺度深度卷积引入NAS
weixin_39834678的博客
12-17 458
摘要:MixNet 是google在AutoML领域的又一力作，深度分离卷积在当前轻量级卷积神经网络得到广泛应用，但其卷积核尺寸却很少得到关注，比如目前网络主体只使用3*3尺寸的卷积核。论文首先分析了在深度分离卷积中使用不同尺寸的深度卷积核对最终结果的影响，进而又进行实验证明组合多尺寸卷积核可以取得更好的精度与效率。基于以上实验结论，论文提出一种新的混合深度卷积(Mixed Depthw...
多尺度卷积
我の博客
07-20 3446
比如说，输出y4可以是x4经过一次卷积，也可以是x3经过2次卷积，还可以是x2经过三次卷积。如下图，黄色部分表示高频特征图，蓝色部分表示低频特征图。作者还提到，不仅在普通的卷积中可以改造成八度卷积的方法，对于分组和可分离卷积同样也是适用的。而且八度卷积是一个可插拔的整体操作，基本上只需要在特定位置上改成相应的八度卷积即可，卷积参数基本上保持不变，只是增加了一个低频占比的参数，以及在输入输出的特征图上分成了高频和低频部分。针对冗余问题，作者降低低频特征图的分辨率，即降低低频特征图的空间维度。
【YOLOv8改进】MSCA: 多尺度卷积注意力 (论文笔记+引入代码).md
最新发布
m0_63430863的博客
06-22 1674
我们提出了SegNeXt，一种用于语义分割的简单卷积网络架构。最近基于变换器的模型由于自注意力在编码空间信息方面的效率而在语义分割领域占据主导地位。在本文中，我们展示了卷积注意力是一种比变换器中的自注意力机制更高效和有效的编码上下文信息的方式。通过重新审视成功的分割模型所拥有的特征，我们发现了几个关键组件，这些组件导致了分割模型性能的提升。这激励我们设计了一种新颖的卷积注意力网络，该网络使用廉价的卷积操作。
多尺度卷积（MSC）
Javadayuge的博客
03-12 1260
多尺度卷积层就是用不同大小的卷积核对某一时刻所得到的特征图进行卷积操作，得到新的大小不同的特征图，之后针对不同大小的特征图上采样到输入特征图的大小。也就是说，多尺度卷积层不会改变原有特征图的大小，只是通过不同卷积核的卷积操作，丰富了图像的特征，从全局的视角对图像中的感兴趣的特征信息进行编码解码，进而提高图像的分割性能。原文链接：https://blog.csdn.net/weixin_48320163/article/details/131829049。
多尺度卷积网络在交通图标和行人检测中的应用
u010529217的专栏
08-25 3312
文章：Traffic Signs and Pedestrians Vision with Multi-Scale Convolutional Networks（Snowbird 11） 作者：Pierre Sermanet , Koray Kavukcuoglu and Yann LeCun 卷积神经网络
【多尺度混合卷积】Transformer模型ConvMAE开源：进一步挖掘和提升 MAE 的性能
limingmin2020的博客
05-31 2290
多尺度的金字塔式架构 + 局部的归纳偏置的模型，能不能经过 MAE 的训练方式之后，进一步挖掘和提升 MAE 的性能？本文就是探索这个问题。ConvMAE 简而言之就是：多尺度的金字塔式架构 + 局部的归纳偏置的模型，使用 MAE 的 Self-supervised Learning 的训练方式。
基于多尺度反卷积深度学习的显著性检测.pdf
08-18
以上总结的知识点，覆盖了多尺度反卷积深度学习在显著性检测领域的应用、原理、优势以及研究背景等多个方面。这些内容为理解深度学习在显著性检测中的作用及其带来的技术进步提供了充分的信息。
具有深度可分离卷积的多尺度学习网络
03-08
卷积神经网络（CNN）是一种深度学习模型，主要用于处理具有类似网格结构的数据，尤其是图像。CNN的核心概念包括共享权重、卷积层、池化层和非线性激活函数。LeNet是CNN早期的一个成功应用案例，之后以AlexNet的出现...
肺结节分类的多尺度卷积神经网络
03-04
综上所述，文章介绍了使用深度学习技术，特别是多尺度卷积神经网络对胸部CT扫描中检测到的肺结节进行分类的研究。这项研究展示了深度学习在医学图像处理领域的强大能力，并提供了一种无需手动分割结节即可进行有效...
深度学习之空洞卷积
03-09
总结来说，空洞卷积是深度学习领域中的一个突破性技术，它为解决密集预测问题，特别是语义分割任务，提供了新的解决方案。通过允许卷积核以非线性方式扩大感受野，空洞卷积能够有效地聚合多尺度上下文信息，并在多个...
多尺度卷积神经网络的头部姿态估计_梁令羽.pdf
06-20
针对头部姿态估计准确率在实际应用中易受到光照、遮挡等干扰因素的影响以及大量运算导致算法运行 速度较低的问题，提出了多尺度卷积神经网络的头部姿态估计算法。通过使用不同尺度的卷积核对输入的头部 姿态图片进行特征提取，丰富了图像特征的同时保留了图像信息，增强算法对干扰因素的鲁棒性。同时引入 1x1 卷积对网络结构参数进行降维，降低系统的运算量，提高算法的时效性。实验结果表明，本文提出的算法在 Pointing ‘04 和 CAS-PEAL-R1 数据库的识别率分别为 96.5%和 98.9%，对于光照、表情、遮挡等干扰表现出较 好的鲁棒性，具有较好的运行速度
论文研究-多尺度卷积递归神经网络的RGB-D物体识别.pdf
07-22
为充分利用RGB-D图像提供的潜在特征信息，提出了多尺度卷积递归神经网络算法（multi-scale convolutional-recursive neural networks，Ms-CRNN）。该算法对RGB-D图像的RGB图、灰度图、深度图及3D曲面法线图进行不同尺度分块形成多个通道，每个通道与相应尺寸的滤波器卷积，提取的特征图经局部对比度标准化和下采样后，作为递归神经网络（recursive neural networks，RNN）层的输入以得到更加抽象的高层特征；融合后的多尺度特征由SVM分类器进行分类。基于RGB-D数据集的仿真实验结果表明，综合利用RGB-D图像的多尺度特征，提出的Ms-CRNN算法在物体识别率上达到88.2%，与先前方法相比有了较大的提高。
论文研究-基于深度多尺度卷积网络Autoencoder的数字图像去噪算法 .pdf
08-18
基于深度多尺度卷积网络Autoencoder的数字图像去噪算法，杨凯，李绍胜，图像去噪是从带噪声的图像中恢复出原始图像的问题。本文提出了一种基于深度多尺度卷积网络的Autoencoder(deep multi scale convolutional neural n
Python-MSDNet多尺度密集卷积网络的有效预测
08-11
MSDNet 多尺度密集卷积网络的有效预测
CNN 中千奇百怪的卷积方式大汇总
weixin_34228387的博客
10-24 503
这篇总结很专业，并且很好的回答了评论中的疑问： Depthwise Separable Convolution 就是卷积加 group 吧？ 这篇文章里是这么说的： 要注意的是，Group conv 是一种 channel 分组的方式，Depthwise +Pointwise 是卷积的方式，只是 ShuffleNet 里面把两者应用起来了。因此 Gro...
卷积变种（常规卷积、空洞卷积、多尺度卷积、分组卷积、可分离卷积、DCN形变卷积）
认真努力，做一只会飞的毛毛虫。
11-01 6764
卷积的目的： 浅层：从输入图像中提取不同方面的特征，比如水平，垂直 ，边缘或对角线。 深层：通过浅层特征的组合，提取更加抽象的高层语义特征或全局特征。 卷积变化的目的： 提高模型精度：对精度要求比较严格的场景。 提高推理速度： 对实时性要求比较严格的场景。 常规卷积 计算方式：卷积核在输入特征图上滑动并计算内积 超参数：kernel size：卷积核尺寸大小；padding：输入填充的圈数；stride：卷积核滑动步长。 输出尺寸计算公式： 空洞卷积 目的：常规卷积感受野太..
多尺度动态图卷积神经网络----Multi-scale Dynamic Graph Convolutional Network for Hyperspectral Image Classificati
热门推荐
你这个代码我看不懂的博客
04-06 1万+
一、摘要 卷积神经网络（CNN）在表示高光谱图像和实现高光谱图像分类方面表现出令人印象深刻的能力。然而，传统的CNN模型只能对固定大小和权重的规则正方形图像区域进行卷积，因此不能普遍适用于具有不同对象分布和几何外观的不同局部区域。因此，它们的分类性能仍有待提高，尤其是在类边界方面。为了缓解这一缺点，我们考虑采用最近提出的图卷积网络（GCN）进行高光谱图像分类，因为它可以对任意结构的非欧几里德数据进行卷积，并且适用于由图拓扑信息表示的不规则图像区域。与常用的GCN模型工作在固定图上不同，我们使图能够随着图卷积
python多尺度卷积
09-01
Python的多尺度卷积可以通过使用不同尺度的卷积核来处理输入数据。在深度学习中，常用的多尺度卷积操作是通过使用不同大小的滤波器来提取图像的多个尺度特征。 一种常见的多尺度卷积方法是使用不同尺寸的卷积核来进行卷积操作，然后将得到的特征图在通道维度进行拼接。例如，可以使用大小为3x3和5x5的两个卷积核对输入图像进行卷积操作，然后将得到的特征图在通道维度上进行拼接，得到一个更加丰富的特征表示。 另一种常见的多尺度卷积方法是使用不同大小的卷积核进行并行卷积操作，然后将得到的特征图在通道维度上进行拼接。例如，可以使用大小为3x3和5x5的两个卷积核同时对输入图像进行卷积操作，然后将得到的特征图在通道维度上进行拼接。 多尺度卷积可以帮助模型提取不同尺度的特征，从而提高模型对于不同尺度目标的识别能力。它在目标检测、图像分割等任务中经常被使用。在Python中，可以使用深度学习框架如TensorFlow和PyTorch提供的卷积操作函数来实现多尺度卷积。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值