基于双重交叉注意的医学图像分割

Dual Cross-Attention for Medical Image Segmentation

摘要

代码链接
论文链接
提出了双交叉注意(Dual Cross-Attention, DCA)，能够增强u - net架构下医学图像分割的跳过连接。
DCA通过连续捕获跨多尺度编码器特征的通道和空间依赖关系来解决编码器和解码器特征之间的语义差距。

• 首先，通道交叉注意(CCA)利用多尺度编码器特性的跨通道交叉注意令牌提取全局信道依赖关系。
• 然后，空间交叉注意(SCA)模块执行交叉注意，以捕获跨空间标记的空间依赖关系。
• 最后，对这些细粒度编码器特征进行上采样，并将其连接到相应的解码器部分，形成跳越连接方案。
  我们提出的DCA模块可以集成到任何具有跳过连接的编码器-解码器体系结构中，例如U-Net及其变体
  

方法

Patch Embedding from Multi-Scale Encoder Stages

我们首先从n个多尺度编码器阶段(即跳过连接层)提取patch。给定n个不同尺度的编码器，使用2D平均池化提取patch，其中池大小和步幅为Psi，并在2Dpatch上使用1×1 depth-wise 卷积应用投影:

Channel Cross-Attention (CCA)

将不同的token沿着通道维度创建键和值，同时我们使用Ti进行查询。虽然线性投影通常用于传统的自我注意，但最近的研究成功地将卷积应用于自我注意，以带来局域性并降低计算复杂度。特别是深度卷积被用于自我注意，因为它们能够以可忽略不计的额外计算成本捕获局部信息。基于之前的工作和这些优势，我们将所有线性投影替换为1 × 1深度卷积投影:

Spatial Cross-Attention (SCA)

沿着通道维度执行层归一化和连接。与CCA模块不同，我们使用连接的token C作为查询和键，而我们使用每个token i作为值。我们在查询、键和值上使用1 × 1 depth-wise projection

实验结果