涨点神器：魔改多尺度注意力！

分享一个顶会都在用的模型涨点方法：多尺度注意力。

在CVPR2024、ICLR2024、TMM2023都有多篇基于多尺度注意力的改进创新。因为它的应用面真的很广：你可以用它来提升模型的泛化性、鲁棒性和效率；也可以设计新的尺度组合方式；还能跨模态融合等等。

近三年内有关多尺度注意力的创新很多，我把其中热门的，最主要是有开源代码的45个创新点整理了。

45个研究都用中文标注核心创新点，方便大家查找和学习。而且全部都有论文PDF和下载好的开源代码，不需要再去网上找，直接下载这个合集就可以了。

今天无偿分享给大家学习，欢迎扫码下载。

扫码下载45个多尺度注意力创新思路

全部论文+代码

这其中有最新CVPR2024、ICLR2024、TMM2023、WACV2023上的创新研究，也有例如引用量100+的高效多尺度注意力模块（EMA），都是近三年内的热门。

大家可以通过这些研究，学习如何利用多尺度注意力给模型涨点，提供创新idea，写出能冲顶会的论文！

想要全部45个多尺度注意力创新思路，可以扫码下载！

扫码下载45个多尺度注意力创新思路

全部论文+代码

部分热门研究简析：

【CVPR2024】Modality-agnostic Domain Generalizable Medical Image Segmentation by Multi-Frequency in Multi-Scale Attention               

提出了一种适用于医学图像分割的模态无关领域泛化网络（MADGNet），它包括两个关键组件：多频率多尺度注意力（MFMSA）模块和集成子解码模块（E-SDM）。MFMSA模块通过整合多频率和多尺度特征来完善空间特征提取过程，E-SDM减轻深度监督下多任务学习中的信息丢失。通过广泛的实验，我们证明了MADGNet在各种成像方式中始终优于最先进的模型，展现出卓越的分割性能。

【引用100+】Efficient Multi-Scale Attention Module with Cross-Spatial Learning

在这篇论文中，提出了一种新颖的高效多尺度注意力（EMA）模块。专注于保留每条通道的信息并减少计算开销，作者将部分通道重塑为批量维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组内得到均匀分布。 具体来说，除了将全局信息编码到每个并行分支中以重新校准通道维度上的权重外，两个并行分支的输出特征还通过跨维度交互进一步聚合，以捕捉像素级对之间的关系。

扫码下载45个多尺度注意力创新思路

全部论文+代码

【ICLR2024】Multi-Scale Representations by Varying Window Attention for Semantic Segmentation

提出了一种新颖的多尺度学习器——变化窗口注意力（VWA）。VWA利用局部窗口注意力（LWA），并将LWA分离为查询窗口和上下文窗口，允许上下文的尺度变化，以便查询在多个尺度上学习表示。提出了一个简单但专业的重新缩放策略，在不影响性能的情况下将额外引起的成本降至零。VWA以与LWA相同的成本克服了局部窗口的感知限制。

全部45个多尺度注意力创新思路论文+代码

扫码下载