基于噪声伪标签和对抗学习的医学图像分割标注高效学习

目录

背景：

面临问题：

解决方案：

 一   没有图像标注对的学习

二 为训练图像生成伪标签

 2.1 为训练图像生成伪标签

2.2 VAE-Based鉴别器

 2.3 鉴别器引导的发生器信道校准

                        这里有不太理解 （未写完）

三 从嘈杂的伪标签学习

 四   讨论与总结：

五 本次论文学习的问题与不理解之处：

---

背景：

医学图像分割对于脏器建模、肿瘤准确诊断、定量测量、手术规划等广泛的临床应用具有重要意义。目前，基于卷积神经网络(Convolutional Neural Networks, CNNs)的深度学习在医学图像分割任务上取得了很大的成功，它们的成功在很大程度上依赖于大量训练图像的可用性，以及专家给出的手工注释。

面临问题：

医学图像分割中难以获得大量的人工标注，因为对分割任务进行像素级标注费时且需要具有领域知识的专家来实现。因此，获取高质量的人工标注进行训练成本高、劳动强度大，成为开发用于医学图像分割任务的深度学习模型的主要障碍。

解决方案：

已有的一些解决方案：无监督、每周监督和基于域适应的方法，但这些方法仍有不足之处，仍需要大量的人工进行标注。

这篇文章从三个方面去尽量解决这个问题

1 一种新的深度学习框架

出了一种新的高效标注的深度学习框架用于医学图像分割，其中模型从一组辅助掩码学习，这些辅助掩码很容易获得，并且与我们的训练图像不配对，因此不需要对每个训练图像进行人工标注。该框架由伪标签生成模块和迭代学习模块组成，前者为每个训练图像获取初始伪分割标签，后者对初始伪标签中的噪声具有鲁棒性

2  VAE鉴别器与 生成器通道校准(DGCC)模块

了获得高质量的伪标签，我们提出了一种基于vae的鉴别器，鼓励对伪标签进行高水平的形状约束，并提出了一个鉴别器引导的生成器通道校准(DGCC)模块，利用鉴别器的反馈对伪标签生成器的通道信息进行校准。

3   新的迭代噪声鲁棒训练方法

提出了一种新的迭代噪声鲁棒训练方法来学习伪标签，该方法通过基于标签质量的样本选择(LQSS)模块拒绝低质量的伪标签，并提出噪声加权骰子损失来提高最终分割模型的性能。

总体结构示意图：

上图 综述了我们提出的用于医学图像分割的高效标注深度学习方法。a)我们使用一组与训练图像不配对的辅助面具(例如，从胎儿头部分割的形状先验模型中获得)进行训练。(b)改进的CycleGAN从未配对的图像和辅助掩模中学习，获得每个训练图像对应的伪标签，其中提出了基于vaes的鉴别器和DGCC模块，以获得更好的性能。(c)训练集的伪标签。(d)采用噪声鲁棒迭代学习方法，利用伪标签训练最终的分割模型。

下面来分别看看这3个方面：

 一   没有图像标注对的学习

I和S分别表示医学图像域和分割掩码域。不同于标准的基于cnn的图像分割方法，需要手动提供来自S的样本，以便它们与来自I的图像配对，我们从I和S的两个未配对集合中得知，它可以有效地从第三方源生成或收集一组辅助掩码，而不是从i中标注训练图像。

首先，考虑到在某些应用中，分割面具具有较强的形状先验(如胎儿头部)，我们利用形状模型从分割面具域生成一组随机样本。具体来说，在我们的胎儿头部和视盘分割任务中，分割目标是一个椭圆。该随机生成的样本和形状并不对应于任何真实的训练图像，即我们得到的是未配对的训练图像和随机版。图1(a)显示了我们为胎儿头部生成的随机面具的一些例子。

其次，对于更复杂的难以建模的分割结构(如肺和肝脏)，当这种辅助掩模样本可以从其他来源(如公共数据集)获得时，我们可以直接使用一组来自掩模域的样本(与训练图像不配对)进行训练。请注意，一旦从S域获得了一组与训练图像未配对的辅助掩码，下面的训练过程对于这两种情况是相同的。

总结就是：

1. 对于简单的形状我们可以使用形状模型进行生成

2. 对于复杂的模型我们则使用其他的来源，例如（公共数据集）

二 为训练图像生成伪标签