多尺度卷积+注意力机制=准确率接近100%!

2024深度学习发论文&模型涨点之——Multi-scale convolutional attention

多尺度卷积和注意力机制的结合可以有效提升模型在特征提取和分类任务中的表现。通过多尺度卷积,模型能够捕获不同尺度的特征,而注意力机制则帮助模型聚焦于更重要的特征,从而提高模型的识别能力和准确性。

小编整理了一些多尺度卷积注意力【论文+代码】合集,以下放出部分,需要的同学公人人人号【AI创新工场】领取

论文精选

论文1:

MPARN: multi-scale path attention residual network for fault diagnosis of rotating machines

MPARN:用于旋转机械故障诊断的多尺度路径注意力残差网络

方法

  • 多尺度卷积神经网络结构:通过不同核大小的并行卷积路径提取多时间尺度的特征。

  • 多尺度路径注意力残差网络(MPARN):在多尺度扩张卷积层后采用路径注意力模块,为不同卷积路径的特征分配不同的权重。

  • 多尺度注意力残差块结构:连续提取有意义的多尺度特征和尺度间关系。

  • 路径注意力模块(PAM):计算不同卷积路径之间的关系,突出重要路径的特征。

  • 多尺度混合层:用于提取重新校准的多尺度特征之间的关系。

  • 残差连接(RC):防止由于PAM引起的饱和问题。

图片

创新点

  • 路径注意力模块(PAM):强调信息丰富的时间尺度特征,抑制冗余时间尺度的特征。

  • 多尺度注意力残差块(MARB):有效提取和融合有意义的多尺度信息,提高多尺度结构的特征提取能力。

  • 多尺度特征提取和融合:通过多分支卷积和池化操作分别获得每种模态的浅层和深层特征。

  • 无需手动标记的肿瘤掩模:即使没有手动标记的肿瘤掩模,MPARN也能表现出与其他最先进算法相当的性能,减轻了对监督信息的过度依赖。

图片

论文2:

AGGN: Attention-based Glioma Grading Network with Multi-scale Feature Extraction and Multi-modal Information Fusion

AGGN:基于注意力的胶质瘤分级网络,具有多尺度特征提取和多模态信息融合

方法

  • 双域注意力机制:同时考虑通道和空间信息,为特征图中的关键模态和位置分配权重。

  • 多尺度特征提取模块:应用多分支卷积和池化操作,分别获取每种模态的浅层和深层特征。

  • 多模态信息融合模块:充分融合低层次细节和高层次语义特征,促进不同模态信息之间的协同交互。

  • 多分支卷积(MB conv):用于提取每种模态的浅层特征。

  • 融合卷积和MB缩减操作:将多尺度特征图转换为具有强大表现力的向量。

图片

创新点

  • 双域注意力机制:通过同时考虑通道和空间信息,提高了特征图中关键模态和位置的特征权重。

  • 多尺度特征提取:通过多分支卷积和池化操作,分别提取每种模态的浅层和深层特征,增强了模型对不同层次特征的捕捉能力。

  • 多模态信息融合:通过融合不同模态的特征,提高了模型对不同模态信息的综合处理能力。

  • 无需手动标记的肿瘤掩模:AGGN即使在没有手动标记的肿瘤掩模的情况下也能表现出色,减少了对监督信息的依赖。

图片

论文3:

Multi-scale convolutional neural networks (CNNs) for landslide inventory mapping from remote sensing imagery and landslide susceptibility mapping (LSM)

用于遥感影像滑坡清单制图和滑坡易发性制图(LSM)的多尺度卷积神经网络(CNN)

方法

  • 多尺度采样三维卷积神经网络(3D-CNN):引入多尺度采样3D-CNN于LSM中,以提取多尺度邻域特征和相关地形、水文、气象、地质和人类活动因素的深层信息。

  • 注意力U-Net骨干网络:利用注意力U-Net骨干网络在中国湖南省张家界市建立全面的滑坡清单。

  • 贝叶斯优化和焦点损失:引入贝叶斯优化和焦点损失来解决滑坡清单语义分割中的类别不平衡问题。

图片

创新点

  • 多尺度采样策略:通过多尺度采样策略,能够更有效地捕捉滑坡发生与影响因素之间的非线性空间相关性。

  • 深度特征提取:3D-CNN模型能够自动从原始数据中提取信息特征,而无需大量的预处理,这在传统的浅层神经网络中难以实现。

  • 高精度滑坡易发性制图:该方法在准确性和接收者操作特征(ROC)曲线下面积方面取得了最高分,召回率和F1分数显著高于其他小、中、大规模模型。

  • 综合考虑尺度特性:多尺度采样策略在所有评估指标中优于单尺度CNN模型,为张家界市的滑坡灾害评估提供了一套高精度方法。

图片

论文4:

Multi-Scale Attention Networks for Pavement Defect Detection

多尺度注意力网络用于路面缺陷检测

方法

  • 多尺度注意力网络(MANet):提出了一种基于多尺度移动注意力的网络,用于自动检测路面缺陷。

  • 编码器-解码器架构:在MANet中使用编码器-解码器架构,其中编码器采用MobileNet作为骨干网络来提取路面缺陷特征。

  • 多尺度卷积核:在网络的深度可分离卷积层中使用多尺度卷积核代替原始的3×3卷积核。

  • 混合注意力机制:在编码器和解码器模块中分别引入混合注意力机制,以推断输入中间特征图中空间点的重要性和通道间关系特征。

图片

创新点

  • 多尺度卷积:通过在深度可分离卷积层中使用多尺度卷积核,扩大了卷积感受野,提高了特征信息的丰富度。

  • 混合注意力模块:结合空间和通道注意力模块,更有效地提取高级特征表示,生成更准确的路面裂缝分割结果。

  • 状态艺术性能:在两个公开可用的基准数据集上实现了最先进的性能,即Crack500和CFD数据集。

  • 实际应用场景:在实际应用场景中提供了一种可行的路面裂缝检测解决方案,并通过实验验证了所提方法的有效性和可行性。

图片

### 多尺度串联深度可分离卷积的应用及实现 #### 应用背景 在计算机视觉领域,为了更好地捕捉图像的不同尺度信息,多尺度结构被广泛应用于各种神经网络架构中。通过引入不同大小的感受野,能够有效提升模型对于复杂场景的理解能力[^1]。 #### 实现原理 多尺度串联深度可分离卷积结合了两个重要概念:多尺度处理与深度可分离卷积。前者允许同时考虑多个空间分辨率下的特征表示;后者则是通过对标准二维卷积操作的空间维度分解来减少参数量并加速计算过程[^2]。 具体来说,在每一层中会构建若干分支路径,每条路径采用特定尺寸的膨胀率(dilation rate),从而形成具有不同接受域宽度的滤波器组。这些滤波器依次作用于同一输入张量上,并最终将其输出沿通道方向拼接起来作为该模块的整体响应。这样的设计不仅继承了InceptionNet利用多种卷积核的优势,还进一步降低了计算成本。 以下是Python代码示例展示了如何基于PyTorch框架搭建一个多尺度串联深度可分离卷积单元: ```python import torch.nn as nn class MultiScaleSeparableConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_sizes=[3, 5], dilations=[1, 2]): super(MultiScaleSeparableConv, self).__init__() branches = [] for k_size, dilation in zip(kernel_sizes, dilations): branch = nn.Sequential( nn.Conv2d(in_channels=in_channels, out_channels=out_channels//len(kernel_sizes), kernel_size=k_size, padding=dilation*(k_size-1)//2, dilation=dilation, groups=1), # Depthwise Convolution nn.BatchNorm2d(out_channels//len(kernel_sizes)), nn.ReLU(), nn.Conv2d(in_channels=out_channels//len(kernel_sizes), out_channels=out_channels//len(kernel_sizes), kernel_size=1) # Pointwise Convolution ) branches.append(branch) self.branches = nn.ModuleList(branches) def forward(self, x): outputs = [branch(x) for branch in self.branches] return torch.cat(outputs, dim=1) # Example usage of the defined layer within a simple network structure. model = nn.Sequential( MultiScaleSeparableConv(in_channels=3, out_channels=64), ... ) ``` 此段代码定义了一个名为`MultiScaleSeparableConv`的新类,它接收一系列不同的内核大小和扩张比例作为输入参数,并创建相应数量的子网路分支。每个分支内部先执行一次带有指定扩张因子的一维卷积(即depth-wise convolution),再紧跟一个point-wise convolution完成跨信道的信息融合。最后将所有分支的结果沿着channel轴堆叠在一起返回给调用者。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值