结合创新！多尺度特征融合+Transformer，参数和计算成本减半

通过多尺度特征融合，模型能够捕捉到不同层次的视觉细节，而Transformer的自注意力机制能够在这些不同层次的特征之间建立联系，有效地整合全局上下文信息，让模型能够应对多样化的视觉场景和变化。

这种结合策略充分利用了二者各自的优势，不仅有助于模型实现更高的识别精度和更好的泛化能力，还能提高模型的性能，因为它可以更好地利用计算资源，通过并行处理不同尺度的特征来提高计算效率。

以分流自我注意（SSA）为例：它允许ViTs在每个注意层的混合尺度上建立注意模型，使自我关注能够学习不同大小的物体之间的关系，并同时减少标记的数量和计算成本，实现了不损失性能，却参数减半的效果。

本文分享8种多尺度特征融合+transformer结合创新方案，包含2024最新的成果。方法和创新点已经帮同学简单罗列，更具体的工作细节建议各位仔细阅读原文。

论文原文以及开源代码需要的同学看文末

SSA

Shunted Self-Attention via Multi-Scale Token Aggregation

方法：论文提出了一种新颖的Shunted Self-Attention (SSA)方案，用于明确考虑多尺度特征。与之前只关注一个注意力层中静态特征图的工作不同，作者保持不同尺度的特征图，这些特征图在一个自注意层中关注多尺度对象。