9.论文学习Attention Unet++: A Nested Attention-Aware U-Net for Liver CT Image Segmentation

论文地址：https://ieeexplore.ieee.org/document/9190761

背景

• 肝癌是癌症死亡的主要原因，肝脏位置的确定是诊断的一个准备步骤。
• 关于肝脏分割的研究可以分为两类：(1)手动和半自动分割；(2)自动分词。
    首先人工分割很大程度上依赖于专家，费时且容易出错。半自动分割仍然需要人工干预，这会导致偏差和错误。
• 医学图像分割中常用的模型是U-Net和FCN的变体。这些方法通常将分割任务分为两个步骤：定位和分割。
    额外的定位步骤将增加模型参数的数量，带来额外的时间消耗。模型分割的精度很大程度上依赖于第一步定位的精度。
• 嵌套的UNet架构：UNet++是最具代表性的基于UNet的分割架构之一。UNet++与UNet的区别在于前者重新设计了编码器和解码器之间不同层次的密集跳过连接，并使用了嵌套卷积块。
    UNet++中的每个嵌套卷积块通过多个卷积层提取语义信息，并且块中的每个卷积层通过密集的跳过连接连接，使得连接层可以融合不同层次的语义信息。
• 注意门(Attention Gate,AG)：注意机制最早出现在自然语言处理(NLP)中，首次将注意机制引入计算机视觉的是何凯明团队提出的Non-local。为了关注与目标器官相关的位置，我们参考PASSRnet提出的方法，在网络架构中添加一个简单但有效的注意力门。

我们提出了一个嵌套的注意感知分割网络，命名为Attention UNet++，具有增加目标区域权重的能力，同时抑制与分割任务无关的背景区域。

架构

• 网络从编码器中提取特征，并通过密集的跳过连接传输到解码器中。

实现分层表示的集成。

• 在嵌套的卷积块之间增加了注意门(Attention Gate)机制。

使不同层次提取的特征在扩展路径中合并成一个集中选择，从而提高了注意力unet++的准确性。

• 引入深度监督，并定义混合损失函数。

损失函数可整合跳过连接从节点获得的不同语义级别的全分辨率特征映射。

注意嵌套的UNet(Attention unet++)概述如图2所示：

  Attention UNet++使用嵌套的U-Net作为基本的网络框架。编码器和解码器对称地布置在网络的两侧。编码器提取的上下文信息通过密集的跳过连接传播到对应层的解码器，从而更有效地提取层次特征。解码器接收到各层的特征后，以自底向上的方式恢复特征。

  我们定义特征图如下，设X_i,j表示块的输出，其中i表示编码器中的特征深度，j表示沿跳跃连接的嵌套块中卷积层的深度，因此卷积层的提取特征图可以定义为：

其中Φ[]表示卷积块，然后是级联合并，Up()和Ag()分别表示上采样和注意门选择。

跳跃连接

  Attention UNet++中第一个跳跃路径的详细分析：

深度监督

  在每个输出节点后增加1×1卷积层和sigmoid激活函数，引入了深度监督。

  设计了一个混合损失函数，结合了soft dice coefficient和交叉熵损失，公式如下：

其中Y^-是真实的结果，Y_i是结点X_{0_i}的分割输出，Mean()是平均函数。[]中，前者是dice coefficient损失，后者是交叉熵损失。

剪枝

  当训练后的网络预测分割结果时，深度d的解码器路径与更深的解码器路径无关。因此，我们完全去除不相关的解码器路径，并使用较小的训练过的Attention unet++在深度d进行分割。

  图5中，我们使用Attention unet++ L1，L2，L3，L4表示在四个不同深度修剪的网络。
  修剪注意unet++ LN表示从X0 N中获取最终结果。

任意门

注意门的架构如图1所示：

  注意门的输入是扩展expansion路径中的上采样特征和来自编码器的相应特征。前者作为门控信号，增强与分割任务相关的目标区域的学习，同时抑制任务中不相关的区域。因此，注意门可以通过跳跃连接提高语义信息的传播效率。然后选择s型激活函数sigmoid训练Gate中参数的收敛性，得到注意系数α。最后，通过将编码器特征乘上α系数，一个像素乘一个像素得到输出。

实验

分割结果

分割结果如表一：

图六是分割结果和人工标注结果的对比，如图所示：

  红色区域为ground truth，蓝色和绿色区域为使用Attention UNet++和U-Net的预测结果，。红色箭头为预测误差。

注意学习结果

  如图7所示，注意系数α在训练过程中逐渐变化，与分割任务相关的目标器官(红色)权重在增强，混淆组织(蓝色)权重在抑制。因此，引入注意机制可以增强对目标区域的学习，提高跳跃连接的有效性。此外，在我们的模型中不需要修剪ROI和定位目标对象。

  (a1)和(a2)为CT图像和LiTS中的ground true。(b1) ~ (f1)为不同训练时期第一层注意门的注意系数α。(b2) ~ (f2)为第二层注意门在不同训练时期的注意系数α。

模型修剪结果

  如图8所示，Attention unet+ + L3预测时间平均减少7.734%，参数平均减少75.512%，IoU仅减少0.615%，Dice仅减少2.558%。最浅注意力unet+ + L1平均预测时间减少17.128%，参数减少98.84%，IoU减少13.354%，Dice减少27.18%。因此我们得出结论：模型修建可明显减少模型参数和预测时间，但是性能减少。

  我们需要在剪枝前根据实际情况做出合理的判断。由于大多数深度CNN分割模型计算时间较长，需要大量内存，因此将剪接分割模型应用于小型计算机，特别是移动设备的计算机辅助诊断更为实用。

实验设置

  数据集设置

• LiTS数据集有131个训练CT和70个测试CT。训练图像都有标注，以5:1的比例将带标注的图像分别划分为训练数据集和测试数据集。ground truth分割提供了三个不同的标签：肝脏、肿瘤(病变)和背景。

  预处理

• 在图像预处理中，把肝脏作为阳性类，其他的作为阴性类。
• 将数据库中所有图像的Hounsfield单位(HU)值范围截断为[-200,200]，以去除无关的无用细节。

  评价指标

• 使用dice similarity coefficient、IoU、精度和召回率作为性能指标来评价肝脏CT图像分割的性能。
• 这四个指标的值越大，分割结果与ground truth的重叠面积越大，相似度越高，分割的准确性也就越高。

结论

在LiTS数据集上的实验表明，所提出的Attention unet++在肝脏CT图像分割中的竞争性能。这种改进主要是由于密集跳跃连接与注意机制的结合。实验也证明Attention unet++具有增加目标区域权重的能力，同时抑制与分割任务无关的背景区域。此外，由于引入了深度监督，修剪后的注意力unet++的预测速度加快，但性能几乎没有下降。