【论文阅读笔记】Medical image segmentation on mri images with missing modalities: A review

Azad R, Khosravi N, Dehghanmanshadi M, et al. Medical image segmentation on mri images with missing modalities: A review[J]. arXiv preprint arXiv:2203.06217, 2022.

本文是关于磁共振成像（MRI）图像中缺失模态补偿的综述。它探讨了在医学成像领域，特别是在肿瘤分割、组织分类和图像生成等任务中，如何处理MRI序列中缺失的模态，并克服这种缺失带来的负面影响。文中详细回顾了多种方法，包括早期的合成方法和后来基于深度学习的方法，如共同潜在空间模型、知识蒸馏网络、互信息最大化和生成对抗网络（GANs）。这项研究的主要目的是对缺失模态补偿网络进行性能评估，同时概述未来解决这一问题的策略。此外，文章还强调了最常用的MRI数据集，并对它们进行了描述。

一.Introduction 部分概述

在本文的引言部分中，作者首先介绍了磁共振成像（MRI）作为一种在生物医学成像领域广泛使用的技术，特别是在获取人体软组织如大脑、腹部器官、腿部、脊柱和组织等高对比度图像方面。文中提到了不同类型的MRI序列（如T1加权、T1c加权、T2加权、FLAIR、MP-RAGE和PD加权），每种序列都能揭示人体组织的不同特征，对于确诊和治疗至关重要。

引言还讨论了MRI的一些技术细节，包括它如何利用核磁共振（NMR）原理以及氢原子核的磁性质来产生图像。文中提到MRI虽然是一种有效的成像技术，但也容易受到各种原因引起的伪像影响，这可能导致实际应用中一个或多个成像序列的缺失。

作者指出，解决MRI图像中缺失模态的问题是一个长期存在的挑战，并且已经开发了多种方法来缓解这一问题的负面影响。这些方法包括早期的合成方法和后来的深度学习方法，例如转换模态到共享潜在子空间、知识蒸馏、优化关键特征信息和使用条件生成对抗网络。引言部分为读者提供了对这些技术和方法进行深入讨论的背景和基础。

二.Taxonomy部分概述

在本文的"Taxonomy"部分，作者提出了一个分类体系，用于归类文献中介绍的不同策略，以克服MRI图像中缺失模态的问题。该分类体系概述了主要的语义分割方法，特别强调了在处理缺失MRI模态时所采用的方法。这些方法分为几个主要类别，每个类别都代表了解决问题的一种不同策略：

1. 合成模型（Synthesis Models）：这些模型通过学习从图集图像中提取的最重要特征来重建缺失的模态图像。
2. 共同潜在空间模型（Common Latent Space Models）：这类方法将所有可用模态映射到一个共同的潜在子空间，并尝试使用新构建的潜在表示来恢复丢失的信息。
3. 知识蒸馏网络（Knowledge Distillation Networks）：这些网络通过从一个或多个“教师”网络转移信息到一个“学生”网络来恢复缺失数据。
4. 互信息最大化（Mutual Information Maximization）：这种方法通过计算可用模态间的相似性度量并优化互信息来进行。
5. 生成对抗网络（GANs）：这些方法结合了GAN及其变体，在缺失模态模型框架中被用于补偿丢失的信息。

作者详细介绍了不同类型的MRI（磁共振成像）序列，并说明了每种序列在医学成像中的独特作用和重要性。具体包括：

1. T1加权序列（T1-weighted）：这种类型的扫描突出显示了人体内的脂肪组织，使得脂肪组织在T1加权图像中比其他解剖组织更亮。

2. T2加权序列（T2-weighted）：T2加权图像强调了水分和脂肪，使得脂肪和水组织在图像中显示为高亮。

3. 对比增强的T1加权序列（Contrast enhanced T1-weighted，即T1c-weighted）：这种成像方法通过注射钆基对比剂来缩短T1松弛时间，以更好地检测血脑屏障受损的病变。

4. 流体衰减反转恢复（Fluid Attenuation Inversion Recovery，FLAIR）：FLAIR扫描在外观上与T2加权扫描类似，但脑脊液显示为暗色而非亮色。

5. 磁化准备-快速梯度回波（Magnetization Prepared - RApid Gradient Echo，MP-RAGE）：这种序列有助于详细展示特定组织的特点。

   文章特别指明：因为每种模式都包含特定的信息，而使用其他模式可能无法完全恢复这些信息。

同时对MRI伪像问题进行了介绍：

1. MRI硬件故障：硬件问题，如扫描仪的磁场不均匀性或射频线圈故障，可能导致图像失真或信号丢失。
2. 患者与成像设备的相互作用：患者的微小运动，如呼吸或体动，都可能导致图像模糊或产生重影。
3. 特定类型的伪像：文章中提到了一些特定的伪像类型，例如大脑和脊髓中脑脊液流动引起的伪像，磁性易感性伪像（由身体内部或外部的金属物质引起的磁场变化），以及各种类型的噪声伪像。

这些伪像不仅影响图像的质量，还可能导致诊断错误或对病情的误解。因此，识别和理解这些伪像对于正确解释MRI图像至关重要。

三.Missing Modality Compensating Networks

3.1 Synthesis Models

作者讨论了合成模型在处理MRI图像中缺失模态时的应用。这些模型的主要目标是重建缺失的MRI模态图像，主要通过学习图集中的重要特征并预测每个体素的强度来实现。具体内容包括：

1. 合成模型的方法：这些方法通常利用图集图像来重构缺失的模态。这包括学习图集图像中的关键特征，然后使用分类机制进行体素级强度预测。代表模型：REPLICA
2. 优点：合成模型的一个主要优点是能够提供缺失模态的估计，这对于后续的分析（如肿瘤分割或组织分类）是有益的。这些模型可以帮助克服由于缺失特定MRI序列而造成的信息损失。
3. 缺点：
   • 性能限制：在实际应用中，这些方法通常无法完全准确地重建缺失信息，可能导致性能不提升甚至下降。
   • 对下游任务的影响：大多数这类模型在不改变下游任务（如分割）的情况下，无法显著改善结果。
   • 与真实数据的差异：使用健康个体的统一图集为基础的方法在处理特定病变（如脑瘤）时可能导致结果失真。

综上，尽管合成模型在理论上具有补偿缺失MRI模态的潜力，但它们在实际应用中面临一定的限制和挑战，特别是在精度和适应性方面

3.2 Common Latent Space Models

讨论了将不同MRI模态映射到一个共同潜在空间的方法，以解决缺失模态问题。这些模型旨在从所有可用模态中提取共同的特征，以补偿或重建缺失的模态信息。文中提到的一些典型模型和方法包括：

1. HeMIS (Hetero-modal Image Segmentation)：这种方法通过在抽象层计算不同模态的均值和方差，然后结合这些统计特征进行分割输出，旨在建立所有可用模态的共同潜在嵌入。但只计算方差和均值是不够的，只有在测试集中的每个模态输入都有标记的情况下才能正常工作。该网络经常被用作baseline,这里贴个图：

   

2. PIMMS (Permutation Invariant Multi-Modal Segmentation)：这是HeMIS的一个变种，它能在没有模态标签的情况下进行分割任务。

3. RS-Net (Regression-Segmentation 3D CNN) 和 HVED (Hetero-Modal Variational Encoder-Decoder)：这些模型通过建立一个共同的表示来合成缺失的模态，并执行分割任务。RS-Net的主要缺点是在尝试合成T1c模态时会导致错误。

4. HVED（Hetero-Modal Variational Encoder-Decoder）：结合了3D U-Net和多模态变分自编码器（MVAE）的网络，旨在通过建立一个共同的潜在空间来重构缺失的MRI模态，并进行图像分割。该网络经常被用作baseline，这里贴个图并展开介绍一下：

   HVED网络的关键特点和方法包括：

   1. 多个编码器：HVED包含多个编码器，每个编码器分别处理不同的MRI模态。这些编码器分别计算变分参数（如均值和方差），这些参数描述为高斯分布，并被合并形成一个共同的子空间。
   2. 潜在空间的重构：通过编码器建立的潜在空间被用来生成缺失的MRI模态。HVED利用随机抽样的方式从这个共同子空间中提取潜在变量。
   3. 多个解码器：HVED包含多个解码器，其中前四个解码器负责生成所需的MRI模态，而第五个解码器用于生成分割图。
   4. 应对多模态缺失的能力：HVED在处理多模态MRI数据时表现出较强的性能，尤其是当存在多个模态缺失的情况下。它能够相对准确地重建缺失的模态，同时提供有效的图像分割。

5. ACN(Adversarial Co-Training Network):ACN的核心特点在于它采用了对抗性共同训练的框架，结合了多模态和单模态路径，以及多种学习模块来提高处理缺失模态时的分割准确性。该网络经常被用作baseline，这里贴个图并展开介绍一下：

   

   ACN网络的关键组件和特点包括：

   1. 多模态和单模态路径：ACN具有两条路径，一条处理完整的模态集合，另一条处理缺失模态的情况。这两条路径分别通过自己的U-Net结构进行训练。
   2. 对抗性学习模块：ACN网络包含几个关键的学习模块，如熵对抗学习模块（EnA）、知识对抗学习模块（KnA）和模态互信息知识转移模块（MMI）。
      • EnA模块：位于网络末端，作为对抗性鉴别器，帮助两个网络产生越来越相似的分割图。
      • KnA模块：计算对抗损失，帮助两个网络输出更加相似的结果。
      • MMI模块：计算均方误差（MSE），防止多模态网络路径中的特征信息丢失。
   3. 共同训练机制：ACN采用共同训练方法，通过这些特殊的模块相互作用，促进不同路径间的特征匹配和知识转移。
   

6. RFNet：RFNet的主要特点在于它采用了一种区域感知融合的方法来处理来自不同MRI模态的特征，并通过这种融合来提升分割的准确性。该网络经常被用作baseline，这里贴个图并展开介绍一下：

   RFNet的关键组成和特性包括：

   
   1. 多个编码器：RFNet包含多个编码器，每个编码器负责从单一MRI模态中提取特征。这使得网络能够处理来自不同MRI模态的信息，并从每种模态中捕捉独特的特征。
   2. 区域感知融合模型（Region-aware Fusion Model，RFM）：RFNet的一个核心组件是RFM，它在不同层级上融合从各个编码器提取的特征。这种融合方法考虑了不同区域的特异性，使得网络能够更加有效地综合来自不同模态的信息。
   3. 权重共享的解码器：在融合了来自不同模态的特征后，RFNet使用一个权重共享的解码器来对每种模态进行个别的分割。这种设计旨在提升融合特征的有效性，进而提高分割的准确度。
   4. 应用范围：RFNet适用于在一些模态缺失的情况下进行准确的医学图像分割，尤其是在脑肿瘤或其他复杂医学条件的识别和分析中

以上这些模型的优缺点包括：

• 优点：
  • 信息融合：通过将不同模态映射到共同潜在空间，这些模型能够有效地整合多模态信息，提高分割或分类的准确性。
  • 灵活性：这些模型可以适应不同的模态组合，使其在处理多种医学成像数据时具有一定的通用性。
• 缺点：
  • 性能限制：当多个模态缺失时，这些网络可能无法充分恢复丢失的信息，从而影响性能。
  • 对缺失模态的敏感性：这些模型通常在处理缺失模态时不够鲁棒，可能无法准确地进行分割或识别。

总体而言，共同潜在空间模型在整合多模态医学成像数据方面表现出较好的潜力，但在处理多个模态缺失的情况下，其性能可能会受到限制。

3.3 Knowledge Distillation Networks

探讨了知识蒸馏网络在处理MRI图像中缺失模态问题时的应用。知识蒸馏是一种机器学习技术，它允许一个较小的模型（学生模型）学习模仿一个更大、更复杂的模型（教师模型）的行为。这种方法特别适用于当一些模态不可用时，从完整模态路径（教师模型）向缺失模态路径（学生模型）转移知识。

文中提到的一些典型的知识蒸馏模型包括：

1. HAD-Net (Hierarchical Adversarial Knowledge Distillation Network)：该网络通过分层的方式进行知识蒸馏，同时使用对抗性训练来提升分割任务的性能。
2. KDD-Net (Knowledge Distillation-Distillation Network)：这种模型使用了一种双重蒸馏过程，从多模态教师网络向单模态学生网络转移知识。

这些模型的优缺点包括：

• 优点：
  • 有效性：通过从全模态网络中蒸馏知识，这些模型能够在缺少某些模态的情况下仍保持较高的性能。
  • 轻量化：知识蒸馏允许较小的模型学习到复杂模型的重要特征，使得部署更加高效，尤其适合资源有限的环境。
• 缺点：
  • 域知识的限制：学生模型可能无法完全获得教师模型中的关键领域知识，这可能影响其性能。
  • 训练成本：当教师网络非常复杂时，知识蒸馏的训练过程可能会变得昂贵和时间消耗大。
  • 教师-学生能力不匹配：如果教师和学生之间存在显著的能力差异，可能导致学生网络的性能提升有限。

总体来说，知识蒸馏网络在处理缺失模态的MRI图像分割任务中展现出显著的潜力，尤其是在资源受限或需要轻量化模型的场景中。然而，确保有效的知识转移和处理潜在的能力不匹配问题是实现这些模型成功应用的关键。

3.4 Mutual Information Maximization

探讨了利用互信息最大化（Mutual Information Maximization）方法来处理MRI图像中缺失模态问题的策略。这种方法的核心在于计算不同模态之间的相似性度量，并优化互信息以提高分割或识别的准确性。

典型的互信息最大化模型包括：

1. CMIM (Cross-Modal Information Maximization)：CMIM通过优化不同模态之间的互信息来提高特征的相关性和一致性，从而改善图像分割的性能。但是该模型训练时候使用多模态，测试时候只使用单一模态。

这种方法的优缺点包括：

优点：

• 强化特征相关性：通过最大化不同模态之间的互信息，CMIM能够强化特征的相关性和一致性，这对于提高在缺失模态情况下的分割或识别精度非常有帮助。
• 提升模型的鲁棒性：互信息最大化有助于使模型对于不同模态数据的变化更加鲁棒，尤其是在面对不完整数据时。

缺点：

• 对可用模态的依赖：当可用的模态数量不足时，应用这种策略可能无法保证丢失数据的有效恢复，因为没有足够的特征来重构缺失的数据。
• 计算复杂度：计算和优化互信息可能增加模型的计算负担，尤其是在处理大规模数据集时。

总体来说，互信息最大化方法在提高缺失模态MRI图像分割的准确性方面表现出一定的潜力，尤其是在最大化模态间特征相关性方面。然而，它在实际应用中可能受到可用模态数量的限制，并且计算过程可能相对复杂。

3.5 Generative Adversarial Networks

作者探讨了使用生成对抗网络（GANs）来处理MRI图像中的缺失模态问题。GANs是一种强大的深度学习框架，通常包括两部分：一个生成器（用于生成数据）和一个鉴别器（用于区分真实数据和生成的数据）。在处理缺失模态的情况下，GANs通常被用来生成缺失的MRI序列，从而辅助进行更准确的医学图像分析。

典型的GAN模型和方法包括：

1. 3D cGAN（3D Conditional Generative Adversarial Network）：这种模型使用条件GAN的结构，通过给定的条件（如已有的MRI模态）来生成缺失的模态。

这些模型的优缺点包括：

优点：

• 高质量的数据生成：GANs擅长生成高质量、逼真的图像，这对于补充缺失的MRI序列非常有用。
• 灵活性：GANs可以被训练来生成多种类型的数据，使其适用于多种缺失模态的场景。

缺点：

• 训练困难：GANs的训练过程可能非常挑战性，特别是在达到生成器和鉴别器之间的平衡时。
• 模式坍塌：在训练GANs时可能会遇到模式坍塌的问题，其中生成器开始生成极少数或甚至是重复的输出。
• 训练成本：GANs通常需要大量的计算资源和时间来训练。

总体来说，GANs在处理MRI图像中的缺失模态问题时显示出巨大的潜力，特别是在生成高质量和逼真的补充数据方面。然而，它们的训练过程可能具有挑战性，并且在资源和时间上的要求较高。

3.6 Comparative Overview

对上面5节进行概述，本节的精华就是下面这个表格：

四 Dataset

作者提及了多个医学图像数据集，特别是那些用于MRI图像分割和处理缺失模态问题的数据集。以下是每个数据集的概述及其特点：

1. BraTS (Multimodal Brain Tumor Image Segmentation Benchmark)：专注于脑肿瘤（主要是胶质瘤）的分割。包括多模态MRI序列（T1、T1c、T2、FLAIR）。提供专家手动标注的分割结果，用于算法评估。
2. MSGC (Multiple Sclerosis Grand Challenge)：包含多发性硬化症患者的MRI扫描图像，涵盖T1、T2、FLAIR等序列。用于评估分割算法在处理多发性硬化症病变方面的有效性。
3. RRMS (Relapsing-Remitting Multiple Sclerosis)：专注于评估和分析复发缓解型多发性硬化的MRI图像。
4. ADNI (Alzheimer’s Disease Neuroimaging Initiative)：专门用于研究阿尔茨海默病和轻度认知障碍的大型多中心研究项目，包括MRI和PET图像。
5. SABRE (Southall and Brent Revisited)：一个以人种为基础的研究，集中于欧洲、印度亚洲和非洲加勒比人群，用于心血管病和糖尿病研究。
6. WMH (White Matter Hyperintensities)：专注于大脑白质高信号区域的MRI图像，这些区域常与各种神经退行性疾病相关。
7. ISLES2015 (Ischemic Stroke Lesion Segmentation 2015)：专注于缺血性中风病变的分割，提供多模态MRI数据。
8. CHAOS2019 (Combined (CT-MR) Healthy Abdominal Organ Segmentation)：提供健康腹部器官的CT和MRI图像，用于器官分割研究。
9. MS Lesion (Multiple Sclerosis Lesion)：多发性硬化病变的MRI图像数据集，用于评估MS病变检测和分割算法。
10. IXI dataset: 提供大脑成像数据，包括T1、T2和PD加权图像，用于各种大脑成像研究。

作者附上了一张表，可以看出那些数据集被使用的比较多。

五.Performance Review

作者讨论了用于评估医学图像分割算法性能的几种关键度量方法：

1. Dice Score (Dice Similarity Coefficient, DSC)：Dice得分是衡量两个样本的相似度的常用指标。在医学图像分割中，它用来比较自动分割结果和专家手动分割（或金标准）之间的重叠。值范围为0到1，1表示完美重叠。
2. Hausdorff Distance (HD)：Hausdorff距离是衡量两组点之间最大可能距离的度量。在医学图像中，它用于衡量自动分割的边缘与金标准边缘之间的最大差异。较小的Hausdorff距离表示更高的分割精度。
3. Volume Difference (VD)：体积差异是指自动分割的体积与金标准体积之间的差异。这是评估分割算法能否准确估计病变或器官体积的一个重要指标。
4. Surface Distance (SD)：表面距离是指自动分割的表面与金标准表面之间的平均距离。它提供了有关分割结果的准确性和一致性的信息，尤其是在表面细节方面。
5. Sensitivity and Specificity：灵敏度（敏感性）和特异性是分类问题中的常用度量标准，灵敏度衡量的是正类样本被正确识别的比例，而特异性衡量的是负类样本被正确识别的比例。

六. Challenges and Opportunities

这部分概述了一下挑战和机遇，感觉写的很中规中矩，没有说明当前模型的痛点，说的都是深度学习应用方面通病：

1. 更具挑战性的数据集：现有数据集可能缺乏多样性和真实世界情境的代表性，限制了模型的泛化能力。开发和利用更具挑战性、更能反映真实世界情况的数据集，可以提升模型的实用性和鲁棒性。
2. 内存高效模型：当前的方法往往需要大量内存，这在训练和推理阶段都可能是一个限制因素。开发更高效的模型，减少内存需求，使算法能够在资源有限的设备上运行。
3. 精度与效率的平衡：在模型的精确性和运行效率之间找到平衡点常常困难。创新方法以提高效率同时保持或提升精度，特别是对于实时应用场景。
4. 模型复杂性：模型的计算复杂性和运行时间是关键问题，尤其是在计算资源受限的临床环境中。发展低复杂性模型，同时保持高性能，使得这些模型可以在不同的临床环境中部署。
5. 可解释模型：深度学习模型的解释性不足，这在临床应用中可能是一个障碍。开发可以提供有意义解释和可视化的模型，帮助临床专家更好地理解和信任这些工具。

个人一些思考

本文的论文数据截止至2022年，2023年又多了很多结合transformer、流模型、扩散模型的新方法，其实也可以归入本文 提到的几大类方法中，这几大类方法中，合成模型受限于合成数据和真实病理数据的差异，在特定条件下可能不会提高性能；而共同潜在空间模型在多个模态缺失时可能表现不佳；知识蒸馏网络可能面临教师和学生网络能力不匹配的问题，而互信息最大化方法在可用模态不足时可能无法充分恢复丢失数据。如何取长补短是一个可以发挥的方向。另外，如果面对训练和测试都存在缺失模态也是一个值得优化的方向。