CA-Net论文阅读

---

前言

要设计注意力方面的医学分割模型，CANet是集合了3种注意力，做了很详尽的消融实验。并且它的可解释性强，这对医学分割来说是非常重要的。
一方面还是想学学他是怎么可视化的。（暂时没看代码，到时候学学。）
论文：https://arxiv.org/abs/2009.10549v1
代码：https://github.com/HiLab-git/CA-Net

---

Abtract

CNN在医学分割领域表现很好，However他们仍然受到复杂条件的挑战，其中分割目标的位置、形状和规模变化很大，并且现有的CNN可解释性差，限制了他们在临床决策的应用。
So
他们提出了CANet，以实现更好的性能。特别是他们提出了一种联合空间注意力模块让网络更加注意前景区域。还有一个通道注意力自适应地重新校准通道级特征相应并突出最相关的通道。

Introduction

提出了CNN目前遇到的问题：

1. 通过设计卷积层，在不同位置共享权重。这样做可能导致缺少空间意识，因此在处理具有灵活形状和位置的结构时，特别是小的目标，会降低性能。
2. 他们使用大量的特征通道这些通道可能是冗余的。很多工作像是CNN把表示不同语义信息的低级特征和高级特征串联，他们可能有对分割任务有不同的重要性，突出相关通道抑制不相关通道更适合分割任务。
3. CNNs经常提取多尺度的特征去处理不同尺寸的物体，缺乏对要分割的特定图像最合适比例认识。
4. 现有的大多数CNN的决策很难解释，并且由于其嵌套的非线性结构复杂，一般被当作黑盒方式使用。

Methods

基本结构如下图所示。选择U-Net作为骨架。在跳跃连接部分设置了空间注意力模块，每个解码器输出设置了通道注意力模块，然后采用尺寸注意力模块充分利用所有的解码器输出生成最后输出。

Fig.1. 我们提出综合注意力CNN（CA-Net）。有3x3或者1x1和数字（16,32,64,128,256或者class）的蓝色举行对应于卷积核的大小和输出通道数。我们使用4个空间注意力模块SA1-SA4,4个通道注意力CA1-CA4和一个尺度注意力LA。F1-4表示作为尺寸注意力模块的输入的特征图重采样版本。
空间注意力模块如下。有4部分SA1,SA2,SA3,SA4。

Fig.2. 我们提出的联合空间注意力模块的详细信息。a)SA1是以最低分辨率级别使用的non-local模块。b)但途径空间注意力模块SAc)SA2-4是用于高分辨率的双通道注意力模块。作为query的特征图xh是用来校准低级key特征xl。sigmoid意味着Sigmoid函数。

首先对于最低分辨率级别的空间注意力，使用non-local模块来捕获所有像素之间的交互，更好地利用上下文。首先用conv1x1改变通道数，然后改变维度，生成3个HWx64的矩阵。上面两个矩阵相乘，得到HW×HW矩阵也是我们的空间注意力系数图，这个与HW×64的矩阵相乘(其中的每一个元素都代表在某个特征图下的一个像素)，得到的HW×64中的每个像素是这个特征图中所有元素的加权和。
对于SA2-4，使用双路径空间注意力，并行利用两个AG来加强对感兴趣区域的关注，并减少噪声。AG就是中间那个图，求出各自的注意力，把他们通道串联起来，然后经过一个Conv1x1改变通道数然后ReLU输出。
下面是通道注意力模块图。通道串联用来结合来自编码器的空间注意力校准的低级特征和来自解码器的更高级别的特征。为了更好地利用最有用的特征通道，我们引入通道注意力自动图传相关特征通道，抑制无关通道。不同于以往的SE块仅利用平均池化信息来激发特征通道，额外使用最大池化特征来保留更多信息。通过MLP（FC+ReLU+FC，它在使用FC的时候考虑性能和计算成本r=2，通道数变为C/r原来的1/2）学习注意力参数，之后用Conv1x1改变通道数。用了残差连接。

Fig. 3. 我们提出的具有残差连接的通道注意力模块的结构。我们的模块中使用了其他全局最大池化功能。β表示通道注意力系数。

Fig. 4. 我们提出的带有残差连接的刻度注意力模块的结构。它的输入是在解码器中获得的不同比例的插值特征图的串联。γ 表示按量表的注意系数。我们还使用空间注意力块LA∗来获得像素尺度的注意力系数γ∗。
提出一个尺寸注意力模块，自动学习每个尺寸图像的特定权重，以校准不同尺度下的特征用于网络末端。更好地结合解码器各个输出。为了降低计算成本，这些特征图使用1×1卷积压缩成四个通道，并将不同尺度的压缩结果连接成混合特征图ˆF。看起来和通道注意力差不多，就是这个他计算的是每个特征图的注意力。另外加了LA模块，以F·γ作为输入生成空间注意系数γ ∗ ∈[0， 1]1×H×W，计算像素级的注意力（γ ·γ ∗表示像素级比例的注意力）。

EXPERIMENTAL RESULTS

对于这两种应用，我们实施了消融研究，以验证我们提出的CA-Net的有效性，并将其与最先进的网络进行了比较。
比如皮肤病这一块。

1. 空间注意力比较方法。去掉了通道注意力和尺寸注意力。比较了他们提出的多层次空间注意力的变体。
   a. 在SA1-SA4使用了标准的单通道AG模型
   b. 在SA1-SA4使用了双通道AG
   c. 只在SA1使用non-local模块
   d. 他们提出的SA1上设置non-local模块，SA2-4使用双通道模块
   对于对于其他不使用SA2−4的比较变体，它们的跳过连接与U-Net相同。
   实验结果：
   
   
   之后他们对通道注意力、尺寸注意力也进行了实验。
   最后与目前先进的方法进行比较。
   感觉他实验做得很详尽，很多情况都考虑到了，并做了实验值得一看。

代码

换成自己的数据集。只用关心data和main部分。
isic_preprocess.py 中换成自己的数据集。如果自己的数据集中的image是灰度图单通道，可以把它全部转换成三通道。
这个文件主要是对数据集进行预处理，改变大小，转换成.npy文件。
create_folder.py 是用了五折交叉验证。生成5个folder，folder1-5。每个文件夹下包含了train,valid,test三个list，里面包含了随机选择的文件的名称，组成了训练，验证，测试。

训练的时候选择folder1-5其中一个即可。换成自己的数据集也不难，不管是用他的代码还是自己写代码。都是把自己数据集预处理后转换成.npy文件，生成folder里面有自己训练、验证、测试的标号即可。
之后更新自己对其中代码的理解。

总结

CANet一个全面的基于注意力的卷积神经网络，学习综合利用多重注意力，以提高医学图像分割的性能和可解释性。