每周一篇 文献阅读—paper 5

文章链接：https://arxiv.org/ftp/arxiv/papers/1906/1906.07367.pdf

译文

摘要

三维图像分割是医学图像处理中最重要和最普遍的问题之一。它为准确的疾病诊断，异常检测和分类提供详细的定量分析。目前，深度学习算法被广泛应用于医学图像分割，大多数算法是在具有完全注释的数据集上训练模型的。然而，获得医学图像数据集是非常困难和昂贵的，并且3D医学图像的完整注释是单调且耗时的工作。在3D图像中仅对部分的信息切片进行标记将会在很大程度上解放手工注释。在2D图像领域中，已经提出了基于主动学习的样本选择策略，但是很少有策略关注3D图像。在本文中，我们针对三维医学图像分割，提出了一种基于注意力引导的主动学习的稀疏注释策略。注意力机制可用于提高分割准确度并估计每个切片的分割准确度。利用正在开发的人类连接体项目（DHCP）的数据集，对三种不同策略进行了比较实验，结果表明，我们的策略只需要在脑提取任务中添加15%到20%的注释片，在组织分割任务中添加30%到35%的注释片，就可以得到与使用完整注释不相上下的结果。

医学图像分割在疾病诊断，病理分析和手术计划中起着重要作用。U-net[1]及与U-net一样的从完全卷积网络发展的模型[2,3,4]在医学图像分割方面表现出了良好的性能，并且u-net已成为医学图像分割的标准结构。

大多数医学图像是3D体积数据。 3D分割是基于体素的分类问题。分类的体素与卷积过程中的特征图（FM）具有空间关系。 然而，并非所有的FM对于待分类的一组体素都具有相同的影响。 FM需要自适应地重新校准，以强调有意义的特征，同时削弱不相关的特征。许多以前的工作都没有强调这个问题。“Squeeze-and-Excitation” (SE) 块是卷积神经网络（CNN）中注意力机制的应用。它自适应地重新校准每个通道的FM，并在多个数据集和任务中取得了更好的性能。文章[7]从SE模块中得到了灵感，并提出了三种SE模块变体。 所有这些注意块都可以嵌入到u-net中。

3D医学图像分割的另一个巨大挑战是：获得具有完整注释的医学图像是非常困难的。3D医学图像分割的另一个巨大挑战是获得具有完整注释的医学图像是非常困难的。许多工作使用稀疏注释来减少注释时间。在[3]中，少量2D的注释切片可以在3D u-net中生成3D密集分割。另一个3D实例分割模型用所有实例的边界框和少量注释实例进行训练[5]。但这些工作没有为稀疏注释提供选择策略。

准确选择最具信息量的切片来进行标记涉及主动学习的问题。在过去的几十年里，主动学习（AL）得到了很好的研究。 AL框架通过增量选择和注释最具信息性的未标记样本来改进现有模型，并被应用于各种视觉任务。[8]中提出的AIFT方法（主动，增量微调）将主动学习和转移学习集成到一个框架中，并应用于三种不同的生物医学成像任务。AIFT从预先训练的CNN开始，根据熵和多样性从未标注的样本中选择信息样本进行注释。为了降低注释成本，提出了一种深度主动学习框架[9]，该框架从较少的训练数据训练来训练一组FCNs开始，然后根据训练好的FCNs估计的不确定性和图像之间的相似性寻找有信息价值的样本进行注释。主动学习的关键是找到一个标准来选择最有价值的标签样本。 以上两种方法基于不确定性和相似性来选择切片， 虽然它们与实际的准确性有关，但它们不能作为最终的评价标准。

如图3所示，随着训练迭代次数的增加，注意力权重趋向于在目标区域中获得更大的值并且在背景中获得更小的值。 注意力权重的分布更接近于ground truth的分布，如[10]中注意力图的可视化，这有助于提高图像分割的准确性。我们推测注意机制可以估计分割准确性并为主动学习提供指导。 因此，我们将注意力机制嵌入到3D u-net中，并设计了一种注意力引导的主动学习策略。

本文的主要贡献如下：(1) 为医学影像三维分割提出了一种准确有效的基于注意力引导的主动学习的注释策略；(2) 将信道关注机制（CAM）和空间关注机制（SAM）以组合方式嵌入到3D u-net中，不仅提高了分割精度，而且还将训练后的模型的有用信息反馈给了未标记的对象。 (3) 伪dice相似系数（P-DSC）和伪准确度（P-准确度）正确地预测未标记切片的分割质量，并与实际分割精度具有很大的正相关性；（4）我们仅使用15％至20％的注释切片进行脑提取，使用30％至35％的注释切片进行组织分割来训练我们提出的模型，在完全监督训练后获得了不错的结果。

方法

如图1所示，其中?表示输入，?表示输出，我们的方法可总结如下。采用注意力嵌入的3D u-net作为分割模型。首先通过初始训练集?(3_0)/ I(1_1)训练模型。在第i次迭代训练中，采用弱监督训练方法对具有片级稀疏标记训练集 (?(1_i))的模型进行训练；最终的FM及其注意力图（AM）（?(1_i)）可以通过分割模型输出；将分割模型(?(1_i))的输出作为主动学习模型的输入 (?(2_i))；根据AMS对最终FMS的置信度来估计当前模型预测的分割结果的准确性；由主动学习模型导出要标记的切片（?(2_i)）的索引。使用完全注释的数据集模拟稀疏标记的过程。然后更新训练集，并使用新的训练集（?(3_i)/?(1_[i+1])）微调分割模型，直到获得稳定和高质量的分割性能。

图1。我们提出的方法的总体框架：（a）注意力嵌入的3D u-net。 （b）注意力引导的主动学习过程。 （c）专家注释模拟。 （d）更新训练集。 应注意的是，最终的FMS及其AMS是（a）和（b）之间的brige。

Attention-embedded 3D u-net

3D u-net是u-net的扩展，适用于3D图像分割。3D u-net的体系结构如图1（a）的分割模型部分所示。左侧可视为编码器，右侧可视为解码器。我们添加注意机制来重新校准3D u-net中的FMs。跳过连接用于将上采样结果及与其分辨率相同的编码器中的FMs拼接起来，来作为解码器子模块的输入。每个解码器子模块包含反卷积操作，将FMs恢复到与输入分辨率相同的分辨率。

注意力机制的结构如图2所示。卷积可以被视为聚合空间信息和通道信息的过程。 嵌入在3D u-net中的注意力机制由两条平行路径组成[16]。第一条路径是CAM。 CAM的目的是通过学习自动获取每个频道的重要性。第二条路径是SAM，它在空间尺度上起作用，对FM中的不同区域进行加权，使得分割模型聚焦于重要的特征区域，突出显着区域。最后，输入的FMs通过乘以组合AMs来重新加权。 应该注意的是，只有最终FMs的AMs被返回用于主动学习。

图2.所提注意力机制的示意图。a）我们使用的注意机制的结构；（b）CAM结构；（c）SAM结构。 Conv.3表示3×3×3卷积

Attention-guided active learning

不确定性度量是主动学习的核心。它可以通过模型输出估算。我们提出了一种在分割任务中使用AMs来度量不确定性的新方法。在开始时，我们使用从轴平面每32或16个切片注释一次的数据来训练我们提出的模型。随着切片的空间距离增加，3D图像中的切片相似度逐渐减小。所以这个距离可以使我们挑选的切片更具代表性。如图1（b）中的主动学习过程所示，分割模型的输出（最终FM及其AM）是主动学习模型的输入。C是类的数量，L是轴向索引的最大值。分割结果1（SR1）和分割结果2（SR2）分别是最终FM及其AM的预测。然后在轴向视图上逐片地计算DSC。我们称之为系数P-DSC。然后通过P-DSC对切片进行排序，生成有序向量。除了带注释的切片，二进制向量还选择了一定数量的具有较低P-DSC的切片。对于多类分割问题的组织分割任务，不同切片上的类别数也可能不同，并且由于脑组织形态的多样性，不同组织的分割难点也不同。计算一个切片中存在的所有组织的平均P-DSC不能反映该切片的分割准确度。 针对这种情况我们提出了另一个系数。除了背景等级0之外，我们计算在??1和??2上预测一致的体素点的数量，其中i表示轴向视图上的第i个切片。然后将它除以??1和??2中的非0体素点的总数。我们将此系数称为P-accuracy，其对应于实际精度（R-accuracy）。??表示第i个切片的ground truth，实际系数评估和不确定性测量的公式（P-DSC和P-精度）定义如下：

图3。该图显示了当我们提出的算法在运行时AMs的通道关于心室的变化，这说明AM可以为分割问题中的主动学习提供指导。

Expert annotation simulation

在实践中，通过主动学习选择的切片可以被专家真实地贴上标签。在我们的实验中，我们将未标记的切片设置为另一个类。 例如，在脑提取任务中，给不同的样品标记0：“背景”，1：“脑”，2：“未标记的切片”。 通过从未标记的切片中移除掩模并恢复到原始注释来模拟专家注释过程。 迭代直到所有切片的平均P-DSC或P-accuracy变化小于阈值σ。 大量实验结果表明，将σ设定为0.005更为合适。

实验和结果

Training

我们在40名足月婴儿的大脑核磁共振成像数据集上评估了我们的方法，这些数据来自developing Human Connectome Project(dHCP) [12]。该数据集提供了大脑提取（Task1）和组织分割（Task2）[13,14,15]的ground truth。 训练采用片级稀疏标记的训练集。我们采用加权交叉熵损失并将未标记类的权重设置为零。本文方法是基于Pytorch来实现的。

每个更新的训练集进行500次迭代的优化，并且我们使用学习率= 0.001的SGD算法。 批量大小，动量和重量衰减系数分别设置为2，0.9和0.0001。 用两个内存为11GB的NVIDIA GTX1080Ti GPU来进行训练。

Effective Active learning strategy

在迭代训练过程中，我们为两个任务随机选择一个样本，并将其放入模型进行预测。 从图4中可以看出，P-DSC / P-accuracy与R-DSC / R-accuracy正相关。 因此，可以通过两个指标正确地估计分割准确度，如[11]中提出的度量，并且用来选择信息量最大的切片。

图4。对于来自轴向视图的每个切片，我们分别计算实际分割精度（基于R-accuracy）并估计精度（基于P-DSC或P-accuracy）。在（b）和（d）中，令x为所有切片中实际精度的order，y为所有切片中估计精度的order，并绘制基于?,?的散点图。

Results

表1列出了不同方法的实验结果，并表明了我们提出的分割模型提高了分割精度。我们提出的模型在Task2中表现出良好的性能（比3D u-net好2.4％）。图5显示了我们提出的策略的有效性。 我们将本文的策略与其他三种不同的注释策略进行比较：（1）随机查询：随机选择要标记的切片，（2）等间隔查询：选择相等距离的切片，以及（3）不确定性查询：基于一个切片中每个体素点的交叉熵的总和选择切片。 为了与等间隔查询进行比较，我们选择适当的注释比来预测，例如，8的间距对应于注释比率12.5％。同时，为了找到最小标记成本，我们在策略中使用训练好模型，每增加5%的注释就预测一次结果。 数据集的分为两部分用于预测。 A部分是稀疏标记的训练集。 B部分是未标记的测试集。

我们可以看到我们的策略优于图5和表2中的其他三种策略。通过使用15％的注释切片，我们的框架在Task1中获得了与完全注释的不相上下的结果，在Task2中使用30％的注释获得不相上下的结果。具体的分割结果如图6所示。


图6。该图显示了随着所提出的算法框架的进行，分割结果的改进。 百分比表示注释比率。

结论

在本文中，我们提出了一种基于注意力引导的主动学习的稀疏注释策略。 我们的框架主要有四个贡献：（1）注意力嵌入式3D u-net显着提高了分割性能。 （2）两个度量与分割精度高度相关，可用于估计没有ground truth的样本的分割质量。 （3）注意力引导的不确定性测量是主动学习的一种全新尝试，可为类似工作提供方向。 （4）我们提出的框架取得了可以与使用完整注释相比较的结果，标记成本较低，大大缩短了注释时间。