YOLOv10改进 | 注意力篇 | YOLOv10引入可变形大核注意力（D-LKA Attention）

1. D-LKA Attention介绍

1.1  摘要：医学图像分割通过 Transformer 模型得到了显着改进，该模型在掌握深远的上下文和全局上下文信息方面表现出色。 然而，这些模型不断增长的计算需求（与平方令牌数量成正比）限制了它们的深度和分辨率能力。 目前的大多数方法都是逐片处理 D 体图像数据（称为伪 3D），缺少关键的片间信息，从而降低了模型的整体性能。 为了应对这些挑战，我们引入了可变形大核注意力（D-LKA Attention）的概念，这是一种采用大卷积核来充分理解体积上下文的简化注意力机制。 这种机制在类似于自注意力的感受野中运行，同时避免了计算开销。 此外，我们提出的注意力机制受益于可变形卷积来灵活地扭曲采样网格，使模型能够适当地适应不同的数据模式。 我们设计了 D-LKA Attention 的 2D 和 3D 改编，后者在跨深度数据理解方面表现出色。 这些组件共同构成了我们新颖的分层 Vision Transformer 架构，即 D-LKA 网络。 我们的模型针对流行的医学分割数据集（Synapse、NIHPancreas 和 Skin lesion）上的领先方法进行的评估证明了其卓越的性能。

官方论文地址：https://arxiv.org/pdf/2309.00121

官方代码地址：