【论文阅读笔记】Multimodal Transformer of Incomplete MRI Data for Brain Tumor Segmentation

Ting H, Liu M. Multimodal Transformer of Incomplete MRI Data for Brain Tumor Segmentation[J]. IEEE Journal of Biomedical and Health Informatics, 2023. 【代码开源】

论文概述

本文提出了一种基于多模态Transformer网络的不完全多模态MRI数据的脑肿瘤分割方法。该网络基于U-Net体系结构，由模态专用编码器、多模态Transformer和多模态共享权重解码器组成。首先，构建一个卷积编码器来提取每个模态的具体特征。然后，提出一种多模态Transformer来建模多模态特征的相关性，并学习缺失模态的特征。最后，提出一种多模态共享权重解码器，将多模态和多级特征与空间和通道自注意模块逐步聚合，用于脑肿瘤分割。

网络结构

• Modality specific feature learning

  这一步类似MMFormer，每个模态单独编码，然后使用类似dropout机制随机丢弃一些模态来模拟缺失模态。网上有很多关于MMFormer的解读，不再赘述。与MMFormer不同在于，在每个模态的每个特征提取层级都进行了特征拼接和dropout。具体如下：文中定义$S{P}_{m,k}$为编码器从第$m$个模态中提取的第$k$个级别特征，其中 m ∈ { 1 , 2 , 3 , 4 } m \in\{1,2,3,4\} m∈{1,2,3,4},对应MRI中的四个模态 {  Flair  , T 1 , T 2 , T 1 c } \{\text { Flair }, T 1, T 2, T 1 c\} { Flair ,T1,T2,T1c},进行对应特征拼接后得到四种模态在各个层级的特征拼接：$S{P}_k=\left[S{P}_{1,k},S{P}_{2,k},S{P}_{3,k},S{P}_{4,k}\right]$，然后进行dropout：$S{P}_k=\delta \odot S{P}_k$。

  

• Multimodal transformer：多种MRI模式的强度分布和潜在特征具有很强的相关性。因此，本文利用现有模式的latent特征加权组合来近似缺失模式的latent特征。该多模态transformer由卷积层、缺失编码层、基于自注意的transformer层和缺失-完全互补学习策略组成。

使用上一步中提到的$S{P}_4$进行初始化 S P k ′ = Conv ⁡ { δ ⊙ S P 4 } S P_{k}^{\prime}=\operatorname{Conv}\left\{\delta \odot S P_{4}\right\} SPk′​=Conv{δ⊙SP4​}，使用dropout随机产生缺失模态后过卷积。本文使用一种类似原始transformer中位置编码的模式来进行缺失模态指示编码missing coding: $\begin{array}{rl}{\mathrm{E}}_{MC}(\gamma ,2i)& =\sin \left(\gamma /1000^{2i/d}\right)\\ {\mathrm{E}}_{MC}(\gamma ,2i+1)& =\cos \left(\gamma /1000^{2i/d}\right)\end{array}$

将缺失模态指示编码(类似于原始transfomer位置彪马)与$S{P}_k^{\prime }$叠加作为多模态transfomer输入$S{P}_k^{\prime }=S{P}_k^{\prime }+{\mathbf{E}}_{MC}$，这一步有点巧妙。

为了从完整模态中更准确地学习缺失模态的特征，提出了缺失-完全互补学习策略，该策略由两个对称的网络流组成，用于完整模式和缺失模式的脑肿瘤分割，使用MSE损失引导 缺失模态分支的分割预测接近完整模态。

• Multimodal decoder：多模态共享权解码器采用对称结构设计，具有反卷积和跳跃连接，逐步结合编码器和transfomer的多模态和多层特征，在原始图像空间中生成分割mask。考虑到计算成本，经过多模态transformer的特征只是$S{P}_4$。训练过程中使用MSE损失，用全模态分支监督缺失模态分支。

  

• 数据集和硬件

  BraTS2018,2019,2020，RTX 3090*1

• 性能比较：文中针对三个数据集分别对比了不同的算法，这里只列出一个表，感兴趣请查看原文。

  

• 方法局限性

  虽然多模态transfomer可以在一定程度上补偿缺失的特征，但分割性能仍然受到可用模态信息的影响。此外，网络使用完整的模态数据进行训练，以学习缺失模态的特征。在医院的真实不完全数据集中，可以选择具有完全模态的数据集子集进行训练，而选择具有完全模式的数据集子集进行测试。