Transfer Learning from Partial Annotations for Whole Brain Segmentation

导读

半监督：基于少量人工标记的深度学习医学图像分割
请查看这篇博客的介绍：https://blog.csdn.net/weixin_43876801/article/details/103152102

Transfer Learning from Partial Annotations forWhole Brain Segmentation

原论文下载地址：https://link_springer.xilesou.top/chapter/10.1007/978-3-030-33391-1_23

局部标注迁移学习用于全脑分割

摘要：

脑部MRI图像分割是神经成像研究中的一个关键任务。它通常使用标准计算工具进行，例如FSL、SPM、多图谱分割等，这些工具通常是基于注册的，并且具有昂贵的计算成本。最近，有越来越多的兴趣使用深度神经网络进行脑图像分割，它在速度和性能上都表现出了优势。然而，基于神经网络的方法通常需要大量的手动标注来优化大量的网络参数。对于用于体积图像分割的3D网络，这已经成为一个特别的挑战，因为与其2D对应的参数相比，3D网络包含更多的参数。3D脑部图像的手动注释非常耗时，并且需要训练有素的专家的广泛参与。为了解决有限的手动注释的挑战，这里我们提出了一种新颖的用于脑图像分割的多任务学习框架，它利用大量自动生成的部分标注以及用于网络训练的少量手动创建的完整标注。我们的方法产生了可与最先进的全脑分割方法相媲美的高性能。

介绍：

在这里，我们提出了一种新颖的脑图像分割网络，它利用大量自动生成的部分注释(来自FSL的皮层下分割)用于网络预训练，然后对一小部分完整注释(手动全脑分割)执行转移学习。与[7]相比，我们的方法是在3D中进行的，但卷积层较少。我们演示了如何将从源域中的部分注释中学习到的特征适应于目标域。使用非常有限的注释，我们的方法实现了可与最先进的脑图像分割方法相媲美的性能。

方法：

我们的工作采用了如图1所示的两阶段训练方案。阶段1使用大量自动生成的部分标注预训练分割网络。阶段2通过联合训练部分标注和一小部分完整标注来微调网络。

图1：两阶段训练方案：阶段1：前期训练；阶段2：联合训练。

1.使用部分标注进行预训练

在本工作中，部分标注是指仅覆盖部分脑结构的分段。在我们的例子中，它指的是由FSL自动生成的15个子皮层结构的分割。完全注释是指由人类专家手动标注的整个大脑结构的分割，它是部分标注的超集，由138个结构组成。由于部分标注是自动生成的，因此很容易获得其中的许多标注。另一方面，获取完整的标注更困难，因为它需要大量的手工劳动。采用3D U-net对部分标注进行预训练，使用分类交叉熵作为损失函数。
采用3D U-net对部分注释进行预训练，使用分类交叉熵作为损失函数：


图2：第一阶段和第二阶段训练中使用的网络架构。

2.具有完整标注的联合训练

我们在第二阶段采用多任务学习框架。编码器与第一阶段中使用的体系结构一致。两个解码器以联合训练。我们将我们的方法称为多输出网络(MO-net)。编码器和两个解码器加载有预先训练的参数。多输出设计鼓励编码器学习部分分段和完全分段的共享功能。用于联合训练的部分分割是从全分割中提取的，全分割是整个大脑的手动分割。由于手动分割一直被认为是“金标准”，并且应该比自动工具的分割更可靠，经过训练的MO-Net也应该能够提供比第一阶段训练的更精确的部分分割。图2中给出的多输出设计类似于[5]中描述的设计，其允许网络从两个分段图中联合学习，以便实现更精确的预测，并具有为各种注释协议提供分段输出的潜力。然而，不同之处在于我们使用修改的U-Net而不是[5]中采用的ResNet和FCN，并且我们的网络加载了从预训练阶段学习到的参数。
将用于联合训练的MO-Net的两个解码器的总loss相结合的加权loss表示为：

结果：

我们从Dice得分的角度评估了MO-net的性能。为了进行比较，对两个版本的U-Net进行了训练，一个从头开始(U-Net(FS))，另一个在MALC和HAA上进行了微调(U-Net(FT))。为了评估MALC上的全脑分割性能，我们还将我们的结果与SLANT8和SLANT27[13]进行了比较，这是基于对8和27个3D U-Net进行微调，预先训练了5111名受试者用于大脑的不同位置。我们的方法在MALC数据集和HAA数据集上的性能分别比从头开始训练的U-net提高了26%和19%。在MALC和HAA数据集上，Mo-Net也比微调U-Net、SLANT8和SLANT27略有改善。我们进一步在相同的25个大脑结构上与QuickNAT[7]进行了比较，就像他们在MALC数据集上的论文一样。Mo-Net的性能略优于微调U-Net、SLANT8和SLANT27，但性能不如QuickNAT。



图3：左半球8个脑结构在HAA上从头开始训练的MO-Net、U-Net和U-Net的Dice得分的框图。

结果表明，基于CNN的模型经过部分分割预训练可以获得更好的全脑分割精度。MO-Net在DICE得分方面的性能与[13]中基于3D U-Net的MALC方法相当，但训练数据不那么严格，尽管不如[7]可能是因为他们采用了更深的网络。我们相信，我们的方法的性能有可能在未来通过更先进的CNN设计得到改善。

图4：MALC上全脑分割和皮质下分割的视觉检查：来自专家的全部(A)和部分(D)脑分割的基本事实，来自MO-net的全部(B)和部分(E)脑分割，来自微调U-net的完全©分割，以及来自FSL的次皮质(F)分割。红色箭头表示MO-Net看起来与手动注释一致并优于其他方法的区域。

总结：

在本文中，提出了一种将迁移学习和多任务学习相结合的方法来解决小数据学习问题。我们的方法利用现有的自动工具来创建用于模型预训练的大量局部标注集，这已经被证明可以提高分割精度。对全脑分割的初步结果表明，该方法具有良好的分割潜力。

启发：

1.采用纠错策略，先让神经网络从一些包含少量错误标签但是容易得到（自动图谱配准）的大量训练数据中学习一轮，然后通过迁移学习的办法把手工标准的正确标签用于第二轮纠错训练。巧妙地利用了纠错训练只需要少量标签数据的优点，成功减少了人类标记的工作量。
2.多任务学习，多任务学习可以增强网络的泛化能力。