【论文阅读笔记】Medical Image Segmentation on MRI Images with Missing Modalities: A Review

Azad R, Khosravi N, Dehghanmanshadi M, et al. Medical image segmentation on mri images with missing modalities: A review[J]. arXiv preprint arXiv:2203.06217, 2022

【概述】

这篇文章讨论了磁共振成像(MRI)中缺失模态的处理问题及其对生物医学成像的负面影响。文章指出，缺失的MRI序列应得到补偿，而补偿由于缺乏一种或多种模态而丢失的有用信息的负面影响是一个众所周知的挑战，本文针对的是在推理时缺失一个或多个模式，而训练时可以访问完整的模式数据集(如T1w、Tw2、T1c和Flair)的情况。文章回顾了各种用于缓解这个问题负面影响的网络，包括早期的合成方法以及后来的深度学习方法，如公共潜在空间模型、知识蒸馏网络、互信息最大化、生成对抗网络(GANs)等。文章讨论了目前最常用的MRI数据集，并强调了未来处理这个问题的策略。最后，文章提出了一个评估缺失模态补偿网络的性能，并勾勒出未来处理这个问题的策略。总之，该文主要探讨了如何处理MRI中缺失模态的问题，并回顾了各种缓解这个问题负面影响的方法，为未来处理这个问题提供了参考。

1.磁共振成像(MRI)中缺失模态会带来哪些负面影响？

• 不完整的图像信息：如果缺失了某个特定的模态，将会导致MRI生成的图像信息不完整，影响医生对病情的诊断和治疗。
• 误导性的诊断结果：由于缺失模态可能导致MRI生成的图像不准确，医生可能会得出错误的诊断结果，从而给患者带来不必要的风险和伤害。
• 延误治疗时间：如果因为缺失模态而无法准确诊断病情，将会延误患者的治疗时间，加重病情，甚至可能导致更严重的后果。
• 增加医疗成本：由于MRI设备通常很昂贵，而且使用过程中需要专业人员操作和维护，如果因为缺失模态而需要进行额外的检查或试验，将会增加医疗成本和患者的经济负担。

2.文章中提到的缓解磁共振成像(MRI)中缺失模态负面影响的方法有：

• 合成方法：这是早期的技术，通过它可以根据已有的模态生成缺失的模态。
• 深度学习方法：包括常见的潜在空间模型、知识蒸馏网络、互信息最大化、生成对抗网络（GANs）等。

3.处理磁共振成像（MRI）中缺失模态的问题，未来的处理策略应该关注以下几个方面：

• 跨模态信息融合：在生物医学成像中，不同模态的图像提供了不同类型的信息，如解剖结构和功能信息。因此，可以采用跨模态信息融合的方法，将不同模态的图像信息进行融合，以提供更全面、准确的诊断信息。
• 图像重建算法：针对缺失的MRI序列，可以开发图像重建算法，利用已有的其他序列重建出缺失序列的图像。例如，可以采用基于深度学习的图像重建算法，利用大量的训练数据，学习从其他序列到缺失序列的映射关系，从而重建出高质量的缺失序列图像。
• 多序列联合采集：为了减少缺失模态的问题，可以研究多序列联合采集的技术，即同时采集多个序列的图像，以增加数据的冗余性和可靠性。这种技术可以减少因某些序列采集失败或信号干扰等原因造成的模态缺失问题。
• 智能化诊断辅助：通过人工智能和机器学习等技术，可以开发智能化诊断辅助系统，帮助医生进行更准确、高效的诊断。例如，可以利用深度学习的方法，训练模型从多模态图像中提取有用信息，结合医学知识和诊断经验，辅助医生进行疾病诊断。
• 标准化和规范化：为了提高诊断的准确性和可重复性，需要制定严格的标准化和规范化流程。例如，可以制定统一的图像采集标准、数据预处理流程、图像分析方法等，以确保不同医院和医生之间的诊断结果具有可比性和可靠性。
• 新技术应用：随着科学技术的不断发展，未来可能会出现新的处理策略和技术手段，可以用来解决MRI中缺失模态的问题。例如，最近兴起的量子计算和纳米技术等前沿技术，可能会为生物医学成像领域带来新的突破和发展。

MRI模态

有几种MRI序列，每一种都暴露出人体组织的独特特征。

• T1加权像（T1-weighted）：T1加权扫描主要显示人体内的脂肪。这意味着在T1加权图像中，脂肪组织比其他解剖组织显得更亮。
• T2加权像（T2-weighted）：T2加权图像则强调水和脂肪，导致脂肪和水组织显得更亮。
• 对比增强T1加权像（Contrast enhanced T1 weighted，T1c-weighted）：在对比增强T1加权成像中，向患者的血流中注射基于钆的对比剂，以缩短T1弛豫时间，更好地检测血脑屏障破坏的病变。
• 液体衰减反转恢复（Fluid Attenuation Inversion Recovery，FLAIR）：FLAIR扫描中的人体组织表现与T2加权扫描相似，但脑脊液表现为暗，而不是亮。
• 磁化准备快速梯度回波（Magnetization Prepared RApid Gradient Echo，MP-RAGE）：MP-RAGE扫描在相对较短的扫描时间内提供了白质和灰质之间的良好对比度。它被大量的多中心试验采用，如阿尔茨海默病神经影像倡议（Alzheimer’s Disease Neuroimaging Initiative，ADNI）。
• Proton density (PD-weighted)：测量的是水分子中氢原子核的数量，可以反映组织中水分的分布情况。这种序列在神经科学领域被广泛使用，因为它可以提供关于脑部水含量的信息，这对于评估诸如脑水肿等病症是很重要的。此外，它还可以用于区分灰质和白质，因为这两种组织的水分含量不同。可以与T1-weighted和T2-weighted序列结合使用，以提供更多关于脑部结构和功能的信息。例如，通过比较T1-weighted和PD-weighted序列，可以计算出脑脊液（CSF）的含量，这对于诊断诸如阿尔茨海默病等神经退行性疾病是很重要的。

缺失模态补偿网络

几类方法的对比分析

方法	网络结构	方法核心思想	缺点
Synthesis Models	“why does synthesized data improve multi-sequence classification” [84] REPLICA [53] mri-based attenuation correction for PET/MRI: a novel approach combining pattern recognition and atlas registration” [46]	使用适应性更强的合成方法，如神经网络或RBM可能会导致性能提高，使用图集配准方法	在不适应模型框架中使用分类器并没有带来改善。这可能是因为模型框架本身不够灵活，无法充分运用分类器的能力。[84]。 这些模型中的大多数并不会改变下游任务，如分割任务。这可能是因为这些模型的设计初衷并不是为了改变或改进下游任务。[58]。 当使用从健康人那里得到的统一图谱为神经胶质瘤患者进行检查时，会出现失真。这可能是因为健康人和患者之间的差异导致图谱不准确。[93]。
Common Latent Space Models	HeMIS [44] PIMSS [85] RS-Net [62] “Brain Tumor Segmentation on MRI with Missing Modalities” [76] HVED [33] “Anatomy-Regularized Representation Learning for Cross-Modality Medical Image Segmentation”[26] ACN [87] RFNet [31] URN [58]	将不同的模态（modalities）映射到一个公共的潜在子空间中，并利用这个新的潜在表示来恢复或预测缺失的信息。	无法通过计算一阶和二阶矩等方法充分恢复丢失的信息。当缺乏一种以上的模态时，这些网络中的许多都不能充分运行[87]。 通常无法在对缺失模态具有弹性的同时提供准确的分割[75]。
Knowledge Distillation Networks	HAD-Net [83] KDD-Net [86] “Knowledge distillation from multi-modal to mono- modal segmentation networks” [47] SMU-Net [6]	使用一个或多个教师网络将判别性信息（传递给学生网络，以恢复缺失数据	在知识蒸馏的过程中，有时学生模型可能无法完全获得来自全模态教师网络的重要领域知识。[87] 当使用复杂和大型的教师网络时，知识蒸馏的训练过程可能会带来显著的计算开销。 如果教师网络和学生网络之间的容量（如模型大小、参数数量等）差异过大，那么学生网络可能无法有效地吸收和保存教师网络的全部知识。[6]
Mutual In- formation Maximiza- tion	CMIM [80] “Conditional generator and multi-sourcecorrelation guided brai tumor segmentation with missing mr modalities” [102] “Latent correlation representation learning for brain tumor segmentation with missing mri modalities” [104] “Brain graph synthesis by dual adversarial domain alignment and target graph prediction from a source graph” [12]	通过可用模态计算相似性度量并优化互信息	当没有足够的模态来提供丰富的特征时，数据重构可能会受到限制，导致丢失的数据无法被完全恢复。[31] 早期的模型可能倾向于限制网络的结构，这可能会进一步加剧数据恢复的问题。一个过于受限的网络结构可能无法充分利用有限的模态来尽可能地恢复丢失的数据。[80]
Generative Adversarial Networks (GANs)	MM-GAN [75] 3D conditional Generative Adversarial Network [93] “Multi-modal AsynDGAN: Learn From Distributed Medical Image Data without Sharing Private Infor- mation” [23] Auto-GAN [21] DiamondGAN [60] CoCa-GAN [48]	利用GAN及其变种	在输入或合成缺失模态时，可能会产生不良的输入噪声[86]。 GANs可能不收敛。 训练开销大。 生成器可能不稳定。

数据集

Performance Review

性能评估常用的度量

• Dice score：在语义分割中，基于骰子系数相似度的骰子损失是众所周知的。在医学图像分割中，大多数情况下感兴趣区域是图像的一小部分。因此，在模型的训练过程中，模型容易陷入局部最小值。因此，模型会偏向于背景，感兴趣的对象不会被适当地检测到，所以会有很多缺失。因此，提出了Dice loss来缓解这个问题。
• Hausdorff Distance：Hausdorff距离是评价两组点之间距离的常用性能评价标准。实际上，它是从一个集合中的一点到另一个集合中最近的点的最长距离。由于考虑了体素位置，这个标准比其他性能评估标准(如Dice分数)更有优势。
• Volume Difference (VD)：预测结果与地面真实值之间的体积差的绝对百分比。
• Surface Distance (SD)
• Precision and Recall

Challenges and Opportunities

• More Challenging Datasets：除了MRI外，增加CT等的更多多模态。
• Memory Efficient Models:本文讨论的大多数方法主要关注抵消操作不完整MRI模态集合带来的负面后果，并因此提高分割准确性。然而，这些方法在训练和推理过程中往往需要大量的内存。如第3节所讨论的知识蒸馏网络就是解决这一问题的关键技术之一，它们可以将知识从一个更大、更复杂的模型转移到一个小型、内存密集型的模型上。可以使用知识蒸馏方法或网络压缩技术来实现简化的网络，然后将其部署在其他设备中，如智能手机上。
• Balance Between Accuracy and Efficiency
• Model complexity
• Interpretable Models:文献中提出了几种方法来可视化和描述通过深度模型学习到的特征图，然而，这些特征图通常对放射科医生来说是无法解释的。因此，潜在的机会是设计这样的方法来表征深层模型正在使用的潜在假设，并将放射科医生的反馈纳入网络设计中。

个人对当前缺失模态MRI值得探索的几个方向的总结：

1.当前文献均考虑训练全模态，测试缺失模态的情况，对于训练时候缺失模态的情况如何设计模型具备鲁棒性和准确性。

2.跨模态数据集的构建，CT、MRI、病历、病理、组学数据等联动，实现真正多模态

3.如何将放射科医生的反馈纳入网络设计中？prompts工程？LLM方式？

4.Memory Efficient如何做？