【论文阅读笔记】A literature survey of MR-based brain tumor segmentation with missing modalities

Zhou T, Ruan S, Hu H. A literature survey of MR-based brain tumor segmentation with missing modalities[J]. Computerized Medical Imaging and Graphics, 2022: 102167.

综述对象：2022年3月1日前文章，在训练期间可以使用完整的磁共振模式，而在测试期间可能没
有一个或多个模式。

摘要： 多模态磁共振脑肿瘤分割是医学图像处理领域的热点问题之一。然而，在临床实践中，由于获取方案、图像损坏、扫描仪可用性、扫描成本或对某些造影剂过敏，获取完整的磁共振模式并不总是可能的。缺失的信息可能会对脑肿瘤的诊断、监测、治疗计划和预后造成一定的限制。因此，迫切需要开发脑肿瘤分割方法来解决缺失的模式问题。基于最近的进展，在这篇综述中，我们提供了一个详细的分析缺失模式的问题，在磁共振成像的脑肿瘤分割。首先，我们简要介绍了脑肿瘤的生物医学背景、磁共振成像技术以及目前脑肿瘤分割面临的挑战。然后，我们对目前最先进的方法进行了分类，分为五类，即基于图像合成的方法、基于潜在特征空间的模型、基于多源相关的方法、基于知识提取的方法和基于领域自适应的方法。此外，还详细阐述了每种方法的原理、体系结构、优点和局限性。随后，描述了相应的数据集和广泛使用的评估指标。最后，分析了当前面临的挑战，并对未来的发展趋势进行了展望。这篇综述旨在让读者全面了解最近在缺少模式的脑肿瘤分割领域的贡献，并提出潜在的未来方向。

贡献：(1)对最近的方法进行了技术概述，并将这些出版物分为五组:基于图像合成的方法、基于潜在特征空间的模型、基于多源相关性的方法、基于知识蒸馏的方法和基于领域自适应的方法。我们从原理、架构、优点和局限性等方面对这些方法进行了深入的分析。(2)介绍了广泛使用的脑肿瘤分割数据集和相应的评价指标。此外，我们对所审查的方法提供了简明的表格描述，并比较了它们在缺失模式的情况下的性能。(3)我们讨论了当前面临的挑战，并为读者提供了关于缺失模式磁共振脑肿瘤分割领域未来发展方向的重要信息。

缺失模态的磁共振脑肿瘤分割领域最新方法的分类树：

（1）基于图像合成的方法

首先合成缺失的模态，然后使用现有和合成的模态对脑肿瘤进行分割。

（2）基于潜在特征空间的方法

应用单个编码器来提取特定于模态的特征表示。随后，这些特征表示被用来学习一个共享的潜在特征表示。最后，使用解码器实现脑肿瘤分割。

(3)基于多源相关的方法

由于同一肿瘤区域可以以不同的 MR 模式呈现，假设不同MR模式之间的潜在特征表示也存在很强的相关性。开发一个相关模型来发现模态之间的相关性。然后，通过注意机制融合跨模态的相关表征。

(4)基于知识蒸馏的方法

训练 Teacher 模型直到完全收敛。损失函数是一个基于分割的损失函数。然后，与 Teacher 模型协同训练 Student 模型。值得注意的是，前向传播在教师和学生模型上都实现了，而反向传播只在学生网络上完成。对于 Student 模型，有两个损失函数:学生分割损失函数和蒸馏损失函数。

(5)基于域自适应的方法

在源域数据(全模态)上训练模型。同时，在目标上训练另一个模型领域数据(缺少模态)。随后，采用领域对抗损失函数最小化两个领域之间的差距来实现分割。

对比分析

利用图像合成技术补偿缺失模态是一种直观的解决方案，可以恢复丢失的数据信息。然而，首先，额外的图像合成将需要更多的计算时间和网络复杂性。第二，训练 GAN 会面临模式崩溃、不收敛、不稳定和对超参数的高敏感性等常见问题。因此，不稳定的训练会导致合成结果不理想，最终影响分割结果。第三，在同一架构下将合成路径和分割路径结合起来也是具有挑战性的。

基于潜在特征空间的方法利用多模态之间的共享特征表示来检索缺失的信息。该方法可以通过计算算术运算(如均值和方差)轻松实现，或者简单地鼓励来自不同模态的特征在 L1 或L2 距离下接近。然而，其局限性在于无法恢复缺失的图像信息。此外，可用模态的不足会导致特征恢复不佳，从而导致分割结果不理想。

基于多源相关的方法一方面，它利用模态之间的强相关性来弥补缺失的模态。另一方面，它可以引导分割网络学习相关的特征表示，以提高分割性能。然而，当大多数模态都不存在时，由于特征信息不足，该方法无法保证缺失信息的恢复。此外，如果不结合图像合成路径，通常无法恢复丢失的图像信息。

基于知识蒸馏的方法存在两个障碍 ：(1)从教师那里提取丰富的知识。了解每种知识的影响，并了解不同类型的知识如何以互补的方式相互帮助是至关重要的。例如，来自不同隐藏层的知识可能会对学生模型的训练产生不同的影响。因此，在一个统一和互补的框架中提取丰富的知识是具有挑战性的。 (2)从教师那里转移知识来指导学生的培养。一般来说，我们希望使用专用的损失函数或模块来约束学生和教师之间的特征信息相似。

基于域自适应的方法在缺失模态和全模态情况之间生成相似的特征。该方法的主要问题是减少源和目标领域
数据分布之间的差异，因为它会直接影响接下来的分割结果。此外，如果不加入额外的图像合成子网络，则无法检索缺失的图像信息。

常用数据集

BraTS

ISLES 2015

TCGA

评价指标

Dice Similarity Coefficient (DSC)

Jaccard Similarity Coefficient

Sensitivity (recall)

Specificity

Precision

Hausdorff Distance (HD)

未来的发展方向

(1)数据的多样性。 当前大部分工作都是基于BraTS数据集。

(2)不确定性量化。 对于脑肿瘤分割，首先，图像采集方法会带来噪声;其次，在一些模棱两可的情况下，不同的专家可能会对肿瘤标注产生分歧。因此，仅预测单个分割是不够的。需要同时获得对肿瘤位置的预测和预测的置信度，以协助医生做出最终的决策。不确定性量化是一种潜在的解决方案，它可以提供对分割置信度的一些洞察，并且可以向用户突出可能出现分割错误的区域。

(3)模型的复杂度

(4)模型的可解释性

个人觉得值得考虑的方向：

(1)目前的研究均集中在训练阶段全模态，测试阶段缺失情况，如果训练阶段模态缺失如何处理？

(2)数据的多样性上：如何结合其他检查数据，如基因、医学组学或其他影像检查？

(3)之前的潜在特征空间方法大多采用卷积提取特征映射或使用VAE，如果使用扩散模型是否会更好？