CA-Net: Comprehensive Attention Convolutional Neural Networks用于可解释医学图像分割的综合注意卷积神经网络

CA-Net: Comprehensive Attention Convolutional Neural Networks

论文：CA-Net: Comprehensive Attention Convolutional Neural Networks for Explainable Medical Image Segmentation 代码：HiLab-git/CA-Net

转载自小锋子Shawn的知乎：https://zhuanlan.zhihu.com/p/259584346

准确的医学图像分割对于疾病的诊断和治疗计划至关重要。卷积神经网络（CNN）在自动医学图像分割方面已经取得了最先进的性能。然而，它们仍然受到复杂条件的挑战，即分割目标的位置、形状和比例有很大的变化，而且现有的CNN的解释能力很差，限制了它们在临床决策中的应用。在这项工作中，本文在CNN架构中广泛使用了多种注意力，并提出了一种基于注意力的综合CNN（CA-Net），用于更准确和可解释的医学图像分割，它同时意识到最重要的空间位置、通道和尺度。具体而言，本文首先提出了一个联合空间注意模块，使网络更加关注前景区域。然后，提出了一个新的通道注意模块，以适应性地重新校准通道的特征响应，并突出最相关的特征通道。此外，还提出了一个尺度注意模块，隐含地强调了多个尺度中最突出的特征图，从而使CNN对物体的大小具有适应性。

复合注意力卷积网络，如图1所示，包括：

1、空间注意力模块，SA1-4
，具体而言是4个，其中第一个是用NL block注意力[1]。第二到四个是用dual-pathway注意力门控AG[2]；

2、通道注意力模块，CA1-4
，具体而言是4个，在SE block注意力[3]之上，引入最大值池化特征，而SE block仅仅用了平均池化特征获得通道注意力权重。

3、尺度注意力模块，LA。

图1：CA-Net

图2：联合空间注意力模块
图2是所谓的联合空间注意力模块。图2(a)是空间注意力的SA1，包括以下步骤。

1、3个点卷积将通道256减少到通道64

2、第一和第二个卷积特征拉成矩阵，相乘获得每一点的系数

3、第三个卷积特征拉成矩阵，跟上面的系数相乘

4、1个点卷积将通道64增加到通道256

5、有1个残差连接

图2(b)是单路空间注意力的SA2-4，包括以下步骤。

1、x_h是高级特征，来自解码器上采样，视为查询特征

2、x_l是低级特征，来自编码器，视为关键词特征

3、两种特征先压缩通道，然后sum一起，再经过relu激活，最后点卷积输出单通道，再经过sigmoid获得注意力系数

4、低级特征x_l与上述注意力系数相乘，得到校准后的x_l

图2©是双路空间注意力的SA2-4，跟单路类似。

图3：通道注意力
图3是类似于SE block的通道注意力，在全局平均值池化之上，增加全局最大值池化。

图4：尺度注意力
图4是尺度注意力，类似于通道注意力。

参考
^Non-local Neural Networks CVPR 2018 https://arxiv.org/abs/1711.07971
^Attention U-Net Learning Where to Look for the Pancreas MIDL 2018 https://arxiv.org/abs/1804.03999
^Squeeze-and-Excitation Networks CVPR 2018 https://arxiv.org/abs/1709.01507