2024深度学习发论文&模型涨点之——Multi-scale convolutional attention
多尺度卷积和注意力机制的结合可以有效提升模型在特征提取和分类任务中的表现。通过多尺度卷积,模型能够捕获不同尺度的特征,而注意力机制则帮助模型聚焦于更重要的特征,从而提高模型的识别能力和准确性。
小编整理了一些多尺度卷积注意力【论文+代码】合集,以下放出部分,需要的同学公人人人号【AI创新工场】领取
论文精选
论文1:
MPARN: multi-scale path attention residual network for fault diagnosis of rotating machines
MPARN:用于旋转机械故障诊断的多尺度路径注意力残差网络
方法
-
多尺度卷积神经网络结构:通过不同核大小的并行卷积路径提取多时间尺度的特征。
-
多尺度路径注意力残差网络(MPARN):在多尺度扩张卷积层后采用路径注意力模块,为不同卷积路径的特征分配不同的权重。
-
多尺度注意力残差块结构:连续提取有意义的多尺度特征和尺度间关系。
-
路径注意力模块(PAM):计算不同卷积路径之间的关系,突出重要路径的特征。
-
多尺度混合层:用于提取重新校准的多尺度特征之间的关系。
-
残差连接(RC):防止由于PAM引起的饱和问题。
创新点
-
路径注意力模块(PAM):强调信息丰富的时间尺度特征,抑制冗余时间尺度的特征。
-
多尺度注意力残差块(MARB):有效提取和融合有意义的多尺度信息,提高多尺度结构的特征提取能力。
-
多尺度特征提取和融合:通过多分支卷积和池化操作分别获得每种模态的浅层和深层特征。
-
无需手动标记的肿瘤掩模:即使没有手动标记的肿瘤掩模,MPARN也能表现出与其他最先进算法相当的性能,减轻了对监督信息的过度依赖。
论文2:
AGGN: Attention-based Glioma Grading Network with Multi-scale Feature Extraction and Multi-modal Information Fusion
AGGN:基于注意力的胶质瘤分级网络,具有多尺度特征提取和多模态信息融合
方法
-
双域注意力机制:同时考虑通道和空间信息,为特征图中的关键模态和位置分配权重。
-
多尺度特征提取模块:应用多分支卷积和池化操作,分别获取每种模态的浅层和深层特征。
-
多模态信息融合模块:充分融合低层次细节和高层次语义特征,促进不同模态信息之间的协同交互。
-
多分支卷积(MB conv):用于提取每种模态的浅层特征。
-
融合卷积和MB缩减操作:将多尺度特征图转换为具有强大表现力的向量。
创新点
-
双域注意力机制:通过同时考虑通道和空间信息,提高了特征图中关键模态和位置的特征权重。
-
多尺度特征提取:通过多分支卷积和池化操作,分别提取每种模态的浅层和深层特征,增强了模型对不同层次特征的捕捉能力。
-
多模态信息融合:通过融合不同模态的特征,提高了模型对不同模态信息的综合处理能力。
-
无需手动标记的肿瘤掩模:AGGN即使在没有手动标记的肿瘤掩模的情况下也能表现出色,减少了对监督信息的依赖。
论文3:
Multi-scale convolutional neural networks (CNNs) for landslide inventory mapping from remote sensing imagery and landslide susceptibility mapping (LSM)
用于遥感影像滑坡清单制图和滑坡易发性制图(LSM)的多尺度卷积神经网络(CNN)
方法
-
多尺度采样三维卷积神经网络(3D-CNN):引入多尺度采样3D-CNN于LSM中,以提取多尺度邻域特征和相关地形、水文、气象、地质和人类活动因素的深层信息。
-
注意力U-Net骨干网络:利用注意力U-Net骨干网络在中国湖南省张家界市建立全面的滑坡清单。
-
贝叶斯优化和焦点损失:引入贝叶斯优化和焦点损失来解决滑坡清单语义分割中的类别不平衡问题。
创新点
-
多尺度采样策略:通过多尺度采样策略,能够更有效地捕捉滑坡发生与影响因素之间的非线性空间相关性。
-
深度特征提取:3D-CNN模型能够自动从原始数据中提取信息特征,而无需大量的预处理,这在传统的浅层神经网络中难以实现。
-
高精度滑坡易发性制图:该方法在准确性和接收者操作特征(ROC)曲线下面积方面取得了最高分,召回率和F1分数显著高于其他小、中、大规模模型。
-
综合考虑尺度特性:多尺度采样策略在所有评估指标中优于单尺度CNN模型,为张家界市的滑坡灾害评估提供了一套高精度方法。
论文4:
Multi-Scale Attention Networks for Pavement Defect Detection
多尺度注意力网络用于路面缺陷检测
方法
-
多尺度注意力网络(MANet):提出了一种基于多尺度移动注意力的网络,用于自动检测路面缺陷。
-
编码器-解码器架构:在MANet中使用编码器-解码器架构,其中编码器采用MobileNet作为骨干网络来提取路面缺陷特征。
-
多尺度卷积核:在网络的深度可分离卷积层中使用多尺度卷积核代替原始的3×3卷积核。
-
混合注意力机制:在编码器和解码器模块中分别引入混合注意力机制,以推断输入中间特征图中空间点的重要性和通道间关系特征。
创新点
-
多尺度卷积:通过在深度可分离卷积层中使用多尺度卷积核,扩大了卷积感受野,提高了特征信息的丰富度。
-
混合注意力模块:结合空间和通道注意力模块,更有效地提取高级特征表示,生成更准确的路面裂缝分割结果。
-
状态艺术性能:在两个公开可用的基准数据集上实现了最先进的性能,即Crack500和CFD数据集。
-
实际应用场景:在实际应用场景中提供了一种可行的路面裂缝检测解决方案,并通过实验验证了所提方法的有效性和可行性。