[论文阅读笔记]Feature fusion and latent feature learning guided brain tumor segmentation and missing modal

Zhou T. Feature fusion and latent feature learning guided brain tumor segmentation and missing modality recovery network[J]. Pattern Recognition, 2023, 141: 109665.

本论文是杭州师范大学国家自然科学基金青年项目“深度学习指导下的缺失核磁共振模态图像的脑肿瘤分割与复发位置预测研究”支持研究，批准年份2022，项目编号：62206084

背景与问题：

• 准确的脑肿瘤分割是临床诊断和手术治疗的关键步骤。
• 多模态脑肿瘤分割依赖于有效的融合方法和出色的分割网络。
• 在临床场景中，由于各种原因，MR模态常常缺失，导致肿瘤分割精度降低，并为后续的疾病分析带来信息损失。现有研究中一类是利用多模态潜特征空间来检索缺失的信息，第二类是先合成缺失的模态，然后用现有的和合成的模态分割脑肿瘤。然后它们大都只能处理缺失一个模态，或者分割过程和合成缺失模态过程相互独立。

提出的方法：

• 为了解决上述问题，作者提出了一个新型的多模态特征融合和潜在特征学习的深度神经网络。
• 该网络在三个关键组成部分的基础上构建：
  1. 多模态特征融合模块（MFFM）：有效地融合不同模态的互补信息，它包含跨模态融合模块（CMFM）和多尺度融合模块（MSFM）。
  2. 基于空间一致性的潜在特征学习模块（SC-LFLM）：利用多模态潜在关联，并提取相关特征以利于分割。
  3. 多任务学习（MTL）路径：整合以监督分割任务并恢复缺失的模态。

评估与结果：

• 使用BraTS 2018数据集对所提出的方法进行评估。
• 与最先进的方法相比，该方法在缺失一个或多个模态的情况下，能够实现优越的分割结果。

方法详解：

本文方法的流程图如图2所示。首先，可用的MR模式被输入到单独的编码器，以学习每个模式的独立特征。然后，提出一种多模态特征融合模型，提取用于分割的信息特征，包括跨模态融合模块和多尺度融合模块。此外，利用基于空间一致性的潜特征学习模块，利用潜多模态相关，学习相关特征，有利于分割。然后，实现多任务学习路径，包括缺失模式的模态生成任务、可用模式的模态重建任务和脑肿瘤分割任务。

• Multimodal feature fusion model (MFFM)

  • Cross-Modality fusion module (CMFM)：学习跨模态特征

    本模块中使用的自注意力机制相对原始方式改进如下：(1)将自注意模型应用于三维特征表示中的交叉模态特征，而不是一维序列。为了实现这一点，按比例的点积注意力被像素级的乘法注意力所取代。(2)将输入张量与权值矩阵($W_q,W_k,W_v$)之间的乘法运算替换为适应3D特征表示的卷积运算。这样，网络就可以学习交叉模态特征，增强重要特征，抑制弱特征。

    

  • Multi-Scale fusion module (MSFM)：学习多尺度空间上下文特征

    先将拼接的特征传递给两个卷积层（卷积核分别为$1\times 1\times 1$$和$$3\times 3\times 3$），并分别使用sigmoid函数来学习空间权值。然后，将这些权值与输入特征相乘，得到来自不同接收域的特征。最后，将两个特征进行融合，实现融合的多尺度特征。

    

• Spatial consistency-based latent feature learning module(SC-LFLM)：研究如何利用基于同一肿瘤区域的不同模式之间的相关性

同一个病人的每一对模态之间的像素强度分布是非线性相关的，该模块用于探索这个相关性。首先使用全局平均池化(GAP)和两个全连通层将多尺度融合特征映射到一组相关参数$f_{s1},f_{s2},f_{s3},f_{s4}$，这组相关系数描述了不同模态之间的非线性关系，可以用于表达某个模态与相关特征之间的关系。最后，提出基于Kullback-Leibler散度用来度量估计的相关特征与模态原始特征的相似度。

• Multi-Task learning (MTL)：共享解码器
  • image reconstruction for available modalities
  • image generation for missing modalities
  • image segmentation

效果对比

局限性

首先，基于编码器-解码器的网络用于图像生成，未来的潜在方向是改进生成器架构。例如，可以考虑生成对抗网络(Generative Adversarial Network, GAN)来生成高质量的图像，并进一步提高分割的准确性。其次，改进多任务学习体系结构，降低训练参数和计算成本。最后，可以进一步研究其他探索潜在特征表示的方法来提高结果。