多尺度特征融合通过构建跨分辨率特征金字塔(如FPN、U-Net++架构),可高效捕捉不同感受野下的纹理、形状及上下文关联特征。而注意力机制则通过动态重标定,聚焦关键特征,抑制冗余信息,优化了计算资源的分配。
当前,多尺度与注意力协同架构是深度学习领域中的一大研究热点。例如木材近红外光谱分类方法BACNN,在测试集上的准确率高达**99.3%**。通过融合频域多尺度分解与注意力机制,该方法建立起 “尺度-重要性”双维度联合优化范式,为多模态大模型的特征蒸馏、边缘设备的轻量化部署提供兼具理论完备性与工程可行性的新一代架构。
本文精选18篇最新前沿论文,供同学们参考学习。整理不易,麻烦大家点个免费的赞~
全部论文+开源代码需要的同学看文末
一、Adaptive Transformer Attention and Multi-Scale Fusion for Spine 3D Segmentation
1. 方法
本文提出了一种基于改进的SwinUNETR的脊柱3D语义分割方法,旨在提高脊柱图像的分割准确性和鲁棒性。该方法引入了多尺度融合机制,增强模型在不同尺度下的特征学习能力,特别是捕捉脊柱图像中的细节;采用自适应注意机制,使模型能够动态调整对关键区域的关注,从而优化边界分割效果。
与传统的3D CNN、3D U-Net及其结合Transformer的模型相比,改进的SwinUNETR在mIoU、mDice和mAcc指标上均取得了显著提升,证明了所提方法的有效性。消融实验进一步验证了多尺度融合和自适应注意机制在提高模型性能中的重要作用。
2. 创新点
1)多尺度融合机制 在传统3D U-Net的基础上,引入跨层级的多尺度特征融合策略,有效结合浅层局部细节与深层全局语义信息,增强模型对脊柱复杂解剖结构的适应性,尤其对小尺寸椎体或病变区域的分割精度显著提升。
2)自适应注意机制 提出一种动态权重调整机制,根据输入图像的局部上下文信息自适应分配注意力权重。在脊柱CT/MRI图像中,该机制能自动聚焦于关键解剖结构(椎间盘、神经孔等),减少噪声和伪影干扰,优化边界分割的连续性。
论文链接:[2503.12853] Adaptive Transformer Attention and Multi-Scale Fusion for Spine 3D Segmentation
二、DCAT: Dual Cross-Attention Fusion for Disease Classification in Radiological Images with Uncertainty Estimation
1.方法
本文提出了一种新颖的特征融合模型,称为DCAT,用于医学图像分类。DCAT模型结合了两种预训练网络(EfficientNetB4和ResNet34),通过双向交叉注意机制动态融合特征图,显著提高了特征表示的准确性。模型集成了通道和空间注意机制,优化了特征选择过程,能够捕捉细粒度细节和高层语义信息;引入了不确定性量化,提供每个预测的置信度估计,增强了临床决策的可靠性。
在三个知名的医学胸部X光和OCT数据集上验证了该模型,结果显示DCAT模型在分类性能上表现优异,准确率达到了98.95%(肺炎)、99.21%(结核病)等高水平。
2. 创新点
1)双重注意力优化 在特征选择中同时引入通道注意力和空间注意力,通道注意力自动识别病灶相关的特征通道,抑制冗余信息;空间注意力聚焦图像局部区域,强化病灶区域的特征响应。
2)特征融合机制 不同于传统的特征拼接或加权融合,提出双向交叉机制,使两种预训练模型(EfficientNetB4和ResNet34)的特征图能够动态交互学习,实现特征图的自适应融合。
三、ScaleFusionNet: Transformer-Guided Multi-Scale Feature Fusion for Skin Lesion Segmentation
1. 方法
本文提出了一种名为ScaleFusionNet的医学图像分割模型,旨在提高皮肤病变的分割精度。ScaleFusionNet结合了交叉注意力变换模块(CATM)和自适应融合块,以增强特征提取和融合能力。
架构利用Swin变换器块提取多尺度特征;解码器通过自适应融合块结合可变形卷积和注意力机制,优化特征整合,改善病变边界的保留;CATM通过交叉注意力机制缩小编码器和解码器特征之间的语义差距,提升特征交互。
2. 创新点
1)交叉注意力变换模块(CATM) 通过交叉注意力机制动态对齐编码器与解码器的多尺度特征,解决传统U型网络中因特征层级差异导致的语义鸿沟问题。
2)自适应融合块 将可变形卷积与通道-空间双重注意力结合,实现动态特征融合与局部结构适应。
-
可变形卷积:通过偏移学习调整卷积核感受野形状,适应皮肤病变的复杂形态。
-
双重注意力:通道注意力筛选关键特征通道,空间注意力聚焦病变区域。
关注下方《AI前沿速递》🚀🚀🚀
回复“C194”获取全部方案+开源代码
码字不易,欢迎大家点赞评论收藏