[深度学习论文笔记]Multi-phase Liver Tumor Segmentation with Spatial Aggregation

Multi-phase Liver Tumor Segmentation with Spatial Aggregation and Uncertain Region Inpainting
[深度学习论文笔记]基于空间聚集和不确定区域修复的多期肝脏肿瘤分割

Jul 2021
MICCAI 2021
论文：https://arxiv.org/abs/2108.00911
代码：https://github.com/yzhang-zju/multi_phase_LiTS

摘要：
  多期计算机断层扫描图像为准确分割肝脏肿瘤提供了重要的补充信息。最先进的多相LiTS方法通常通过相位加权求和或基于通道注意力的串联来融合跨相特征。然而，这些方法忽略了不同阶段之间的空间(像素)关系，因此导致特征整合不足。此外，现有方法的性能仍然受制于分割中的不确定性，这在肿瘤边界区域尤其明显。在这项工作中，作者提出了一种新的LiTS方法来充分聚合多相信息和细化不确定区域分割。为此，引入了空间聚合模块(SAM)，它鼓励不同相位之间的每像素交互，以充分利用交叉相位信息。此外，设计了一个不确定区域修复模块(URIM)来使用相邻的鉴别特征来细化不确定像素。在肝脏局灶性病变的内部多期CT数据集上的实验表明，方法实现了有希望的肝脏肿瘤分割，并且优于现有技术。

问题动机：
  肝癌是癌症导致死亡的主要原因之一，对人类健康构成严重威胁。准确的肝肿瘤分割是肝癌诊断和治疗的重要前提，有助于提高五年生存率。大多数现有的LiTS解决方案倾向于使用单相计算机断层扫描(CT)图像来分割肝脏肿瘤。然而，由于医学图像中固有的挑战(例如，低对比度和模糊的肿瘤边界)，这些方法通常产生不令人满意的结果。另外，基于多期图像的分割可以吸收不同时期的互补信息，有助于探索肿瘤的完整形态。

思路来源：
  在临床实践中，不同时期的对比增强CT (CECT)图像呈现出不同的肝脏肿瘤形态和灰度。通常，肿瘤在一个阶段可能不突出，但在另一个阶段显示清晰的轮廓。因此，充分利用互补的相位信息可以有效地提高分割结果。有鉴于此，提出了几种方法来探讨这一问题，根据多阶段特征融合策略可分为三类:输入级融合(ILF)方法、决策级融合(DLF)方法和特征级融合(FLF)方法。在这些方法中，特征级融合FLF方法被证明可以获得最佳性能，因为它们利用了多级交叉相位特征。例如，吴等人提出了一种MW-UNet，它通过使用可训练系数对来自U-Net的隐藏层的特征进行加权来集成不同的相位。徐等人提出了一种基于 ResNet的PA-ResSeg，利用通道注意机制对不同阶段的特征进行重新加权。然而，已知的特征级融合FLF方法仅仅关注相位方向或通道方向的相位间关系，而忽略了不同相位之间的像素方向的对应关系，从而导致信息聚集中的冗余和低效率。特征融合不充分甚至会在空间位置引入干扰因素。此外，与其他分割任务一样，现有多阶段LiTS方法的性能受到不确定区域分割的影响。也就是说，分割结果通常呈现一些模糊或不明确的区域(尤其是肿瘤边界)。这个问题主要是由(1)上下采样操作中的高频信息丢失和(2)肿瘤和周围环境之间的低对比度引起的。
  基于这些观察，在这项工作中，作者提出了一种从多期CECT图像中分割肝脏肿瘤的新方法。总的来说，方法利用了动脉期图像的补充信息来促进静脉期图像的肝动脉期。通过引入像素级的相位间特征融合和不确定区域细化，提高了分割性能。具体来说，为了确保充分的多阶段信息聚合，作者设计了一个空间聚合模块(SAM)。所提出的SAM模块挖掘宏观和局部相位间的关系，并为每个相位生成像素级响应图。然后，根据响应图逐像素地调制和融合多相位特征。此外，作者设计了一个不确定区域修复模块(URIM)来细化不确定区域并获得精细分割。URIM模块的关键思想是使用有信心的像素(分割分数高)来修复周围的不确定像素。为此，引入了局部置信卷积(LC-Conv)运算，使不确定像素吸收相邻的鉴别特征。经过多次LC-Conv运算后，采用调整后的特征进行最终预测。在肝脏局灶性病变的内部多期CT数据集上的综合实验表明，方法实现了准确的肝脏肿瘤分割，并且优于现有技术。主要贡献是:
(1)设计了一个空间聚合模块，以确保足够的相间相互作用。该模块提取宏观和局部相间关系，从而用响应值调制每个像素；
(2)设计了一个不确定区域修复模块来细化不确定和模糊区域，这尤其有助于获得细粒度的肿瘤边界分割；
(3)在多相MPCT- FLLs数据集上验证了方法。

模型方法:
  总的来说，网络将PV切片和ART切片都作为输入，并产生原发PV阶段的肿瘤分割。图1示出了所提出的网络的概况，其主要包括三个部分。

              图1:图示提出的多期肝脏肿瘤分割网络
  相互引导编码器部分以ResNeXt-50为主干。它使用两个路径，即PV流和ART流，来提取特定相位的特征。两个流的卷积块被表示为
B(I)pv B(I)art(I∑{ 1，2，3，4，5})。为了整合跨阶段信息，来自B(I)PVc和B(I)ART(I∞{ 2，3，4，5})的特征通过SAMs以双向方式聚合。通过这样做，这两个流提供了相互帮助的信息，从而相互指导它们的特征提取。
  解码器部分将来自编码器的四级聚集特征作为输入，并产生初始概率图。为了合并多级特征，使用双线性插值对所有输入进行上采样，并通过级联和卷积进行融合。
  解码器顶部的不确定区域修复部分旨在细化初始特征图中的不确定区域。直观地说，它使用有信心的像素来修复相邻的不确定像素。为了实现这一点，允许不确定的像素使用一种建议的局部置信卷积(LC-Conv)运算来吸收周围的区别特征。最终预测采用细化特征。

空间聚合模块：
   最新的多相位LiTS方法忽略了空间位置的特征融合。这可能导致信息集成中的冗余和低效率。因此，作者提出了空间聚集模块（SAM），通过加权每个像素来确保足够的跨相位特征融合。

   图2（a）示出了具有两个输入特征映射FPV的拟议SAM的详细结构∈ RC×H×W（来自PV流）和FART∈ RC×H×W（来自ART流），SAM模块计算两个像素级响应图，表示为wPV∈ RC×H×W,WART∈ RC×H×W，分别调制FPV和FART。因此，整体跨阶段特征聚合可以表示为：
  如何获得合适的响应图是SAM模块的关键。具体而言，SAM模块首先提取输入特征的有效描述符，以减少维数并保留信息特征。为此，对沿通道方向的输入应用平均池和最大池操作。然后，SAM模块学习两个映射函数M（1）和M（2），从特征描述符中建模局部和全局相位间互补关系。具体地说，M（1）和M（2）构建在金字塔卷积结构上（参见图2（a）），即。E采用全局平均池（GAP）层和7×7卷积层提取全局对应；使用两个卷积层（内核大小为3×3和5×5）捕获局部相位间细节。采用M（1）和M（2）的输出得到两个初始响应图w（0）PVA和w（0）ART，通过级联和3×3卷积（注意，在级联之前将间隙层的输出采样到H×W）。通过softmax层对w（0）PVA和w（0）ART进行归一化，从而确保w（c，h，w）PV w（c，h，w）ART=1，从而获得最终响应图。（这部分具体参考原论文）

不确定区域修复模块:
   解码阶段采用了四级聚合特征 i∈ 2,3,4,5预测初步概率图。然而，初始结果通常呈现一些模糊和不确定的区域。因此，提出了一个不确定区域修复模块（URIM）来细化模糊区域（尤其是肿瘤边界）。URIM的核心思想是利用具有自信分类分数的像素修复相邻的不确定像素。

置信图计算：
  让Si∈ R1×H×W（i∈[1,2]）表示初始分段图。Si是属于i类（肝肿瘤或背景）的每个像素p的概率，其中∑2 i=1Si（p）=1。因此，每个像素的分类置信度可以由置信度映射Mconf表示∈ R1×H×W:

  其中Smax表示初始贴图中每个像素的最大分数，Smin表示每个像素的最小分数。Mconf 的范围为[0,1]，Mconf中的值越大表示置信度越高。（这乱码实在有些严重 有时间再修改一下）

局部置信卷积:
   不确定像素通常具有难以区分的特征，因此很难识别其类别。直观地说，如果能让不确定像素从相邻的置信像素中吸收鉴别特征，那么这些不确定像素的分类可能会变得更容易。为此，作者提出了局部置信卷积（LC Conv）运算，其公式如下：

  其中X表示当前滑动窗口中的输入特征；x′表示细化特征；Mconf表示像素级置信度图；W表示卷积滤波器的权重，b表示偏差。

  比例因子1/sum（Mconf）用于在不同滑动窗口内正则化置信度映射的效果。在每个卷积运算中，LC-Conv强调鉴别特征并抑制不确定特征。利用该机制，相邻窗口中置信度较高的像素对滤波结果的贡献更大，从而使不确定像素接收周围的可分辨特征。在每次LC-Conv操作之后，Mconfis通过3×3最大值卷积层进行更新。
  图2（b）显示了URIM模块的详细结构，该模块由四个LC Conv层和3×3内核组成。URIM模块将来自解码器的Mconf和决策特征（softmax层之前的特征映射）作为输入，并产生精确的预测。在细化阶段，不确定像素逐渐吸收更遥远的自信特征，而不确定区域缩小，这与图像修复类似。最后，将细化后的特征和输入特征连接起来，以预测最终结果。

          图2：拟议SAM模块（a）和URIM模块（b）的详细结构

损失函数：
  损失函数包括两个交叉熵损失(见图1)，Linit在初始分割和地面事实之间，Lfinal位于最终预测和地面事实之间的。Linit和Lfinal最终对总损失的贡献相等。方法是基于PyTorch 1.5.0实现的，并在NVIDIA GTX 2080 ti GPU (12 GB)上进行了训练。使用SGD优化器来训练我们的网络，初始学习速率为5×104，每50个周期除以10。

实验与结果：
数据集：
   通过内部的局灶性肝脏病变多期CT数据集(MPCT-FLLs)评估方法。该数据集包含121例多期CT病例，包括5种典型的肝脏肿瘤类型(包括36例囊肿，20例局灶性结节增生(FNH)， 25例肝血管瘤(HEM)， 26例肝癌(HCC)和14例转移(METS))。图像尺寸为512 × 512，切片厚度为0.5 mm或0.7 mm，面间分辨率为0.52 × 0.52mm2 ~ 0.86 × 0.86mm2。为了验证模型，采用了五重交叉验证技术。据此，将121例随机分为5个互斥子集。所有定量结果在五个测试集上取平均值。

预处理：
  所有图像被截断到[- 70,180]的标准单位范围内，以消除不相关的组织。此外，为了避免肝外区域的假阳性，训练了一个简单的ResUNet来分割肝脏。网络的每个输入包含三个相邻的切片，由相应的肝脏掩膜掩盖。此外，注册多相输入，该方法简单地根据肿瘤中心体素对多相肿瘤体积进行对齐。在训练阶段，通过随机移动、旋转和缩放来进行数据增强，以防止潜在的过拟合问题。

评价指标：
  为了定量地测量性能，使用了六个常用的度量标准，即每例dice(DPC)、全局dice(DG)、体积重叠误差(VOE)、相对体积差(RVD)、平均对称表面距离(ASSD)和均方根对称表面距离(RMSD)。DPC和DG得分越高，分割结果越好。对于其余四个评价指标，绝对值越小，结果越好。

比较先进的：
  为了验证该方法的有效性，将其与目前最先进的三种多相lits方法进行了比较:(1)MC-FCN方法简单地将多相特征连接到FCN分类层之前;(2) MW-UNet，训练U-Net各层各阶段的具体权值;(3) PA-ResSeg，引入信道注意机制，在ResNet的特定层对各信道的多相特征重新加权。

  表1：方法和最新技术之间的定量比较

  图3：四种不同分割方法之间的视觉比较。地面真相用红色表示，相应的预测用蓝色表示。
  图3为对比实验的可视化示例。可以观察到MC-FCN产生的结果很差，因为它粗暴地连接了来自不同阶段的决策级特征。这些原始的多相特性可能会带来冲突或干扰因素，从而导致性能较差。MW-UNet和PA-ResSeg的结果更好，能够捕获肿瘤的粗糙形状。然而，像素的分割，特别是在肿瘤边界，是不令人满意的。这是因为两种方法都忽略了特征的空间融合，导致对多相位特征的融合不够充分。此外，它们没有提供任何处理不确定性问题的策略，这使得边界像素分类变得困难。相比而言，作者的方法鼓励逐像素的相间相互作用，并引入了不确定的区域内填补机制，证明了该方法在DPC、DP、VOE、ASD和RSMD评分中获得了最佳值(见表1)。
  为了分析方法对特定肿瘤类型的性能，作者根据肿瘤类别将测试集分为五个子集。如表2所示，与其他方法相比，作者的方法在大多数类型的肿瘤上都有显著的性能提升，平均性能最高。

  表2：不同肿瘤类型的定量比较（DPC（%））。

  此外，为了验证提出的交叉相位融合策略（SAM模块），将其与其他四种融合方法进行了比较：（1）输入级融合（ILF）策略，该策略将多相位图像连接在输入端；（2）MC-FCN中使用的决策级融合（DLF）策略；（3） MW UNet中采用的模态加权（MW）策略和PAResSeg中采用的相位注意（PA）策略。为了保证比较的公平性，除了替换特征聚合模块外，所有融合模块都插入到所提出的网络中。如表1所示。SAM策略更好地利用了多相位信息，并且优于其他融合策略。

消融实验：
  为了验证方法中每个组件的有效性，从单相（PV相）ResNeXt-50网络开始，逐步添加模块。表3总结了定量结果，其中SP表示单相分割，MP表示多相分割，只需在四个卷积块处添加PV和ART特征（将此融合策略表示为FLF）。可以看出，添加多阶段信息可使DPC的性能提高+6.46%；在DPC中，采用SAM模块融合功能将性能提高+3.79%；通过URIM模块细化不确定区域，可在DPC中获得+1.02%的性能增益。

  表3：消融实验的定量结果

稳健性验证：
  SAM和URIM模块可以插入各种多相分段网络。为了验证它们在不同主干上的健壮性，将主干替换为U-Net和ResNet-50。
多相U-Net、ResNet-50和ResNeXt-50（采用FLF添加策略）上SAM和URIM模块的DPC增益分别为5.28%、4.50%和4.81%。结果表明，SAM和URIM模块可以在不同的网络中稳定地提高分段性能。

总结：
  在这项工作中，作者提出了一种新的多相网络来从PV期和ART期图像中分割肝脏肿瘤。在网络中，设计了一个空间聚集模块，通过调制每个像素来充分利用多相位信息。还设计了一个不确定区域修复模块来处理肿瘤边界分割中的不确定性。在MPCT FLLs数据集上的实验证明了方法相对于现有技术的优越性。在未来，可能会关注两个以上阶段的多阶段分割问题。在这种情况下，可以使用SAM模块（具有更多参数）为每个阶段生成响应图。这个问题将是更具挑战性的，因为需要考虑网络的内存消耗。