注意力机制这么做！CVPR和NeurIPS双双拿下！屡试不爽！

今天给大家推荐一个至少能发中科院二区的idea：多尺度交叉注意力！

它结合了多尺度特征提取和交叉注意力机制的优势，能够在不同尺度上捕获输入数据的特征，从而实现对数据的全面理解。不仅关注全局的、整体的信息，还能够深入到局部的、细节的信息，使得模型在处理复杂任务时更加准确和高效。此外，通过交叉注意力机制，还能有效地处理两个不同序列或特征图之间的语义关系，这对NLP、图像处理等尤为重要。

也因此，其在CVPR、NeurIPS等顶会、顶刊备受青睐！近来有多篇效果显著的成果产出。模型MCANet在医学图像分割任务中，倍参数量直降50倍！模型SCAN则性能狂提74.1％……

为让大家能够紧跟领域前沿，找到更多灵感启发，我给大家准备了12种创新思路，原文和源码都有！

论文原文+开源代码需要的同学看文末

MCANet:Medical ImageSegmentationwith Multi-ScaleCross-AxisAttention

内容：文介绍了一种名为MCANet的新型医学图像分割网络，它采用了多尺度交叉轴注意力（MCA）机制，以更有效地捕捉多尺度信息和建立像素间的长距离依赖关系。MCANet在多个具有挑战性的医学图像分割任务上表现出色，包括皮肤病变分割、细胞核分割、腹部多器官分割和息肉分割，并且与以往的方法相比，在参数数量和计算复杂度上都有所减少。

CPP-Net: Embracing Multi-Scale Feature Fusion into Deep Unfolding CP-PPA Network for Compressive Sensing

内容：论文提出了CPP-Net，这是一个基于CP-PPA的深度展开压缩感知（CS）框架，通过整合多尺度特征提取和融合以及跨迭代重建阶段的信息加权融合策略，有效地提高了图像重建质量，特别是在低CS比率下，能够减少失真和模糊，同时保留更丰富的图像细节，超越了当前的最先进方法。

Cross-Scale MAE: A Tale of Multi-Scale Exploitation in Remote Sensing

内容：论文讨论了在遥感领域中如何利用多尺度特征提取的优势。它提出了一种名为Cross-Scale MAE的方法，旨在通过结合不同尺度的信息来提高遥感图像分析的性能，例如在图像分类、目标检测和分割等任务中。这种方法通过捕捉和融合不同分辨率下的图像特征，增强了模型对关键信息的识别能力，从而在处理遥感数据时能够获得更准确和鲁棒的结果。

Sparse Cross-scale Attention Network for Efficient LiDAR Panoptic Segmentation

内容：论文介绍了一种名为SCAN的新型稀疏跨尺度注意力网络，用于高效的3D LiDAR Panoptic分割。SCAN通过全局体素编码的注意力机制对多尺度稀疏特征进行对齐，以捕获实例上下文的长距离关系，提高了大型对象过分割的回归精度。对于表面聚合点，SCAN采用了一种新颖的实例质心的稀疏类不可知表示，既保持了对齐特征的稀疏性，解决了小对象的欠分割问题，又通过稀疏卷积减少了网络的计算量。

码字不易，欢迎大家点赞评论收藏！

关注下方《AI科研技术派》

回复【多尺交叉】获取完整论文

👇