基于对比学习的多模态脑肿瘤分割与单模态正常脑图像的特征比较

Multimodal Brain Tumor Segmentation Using Contrastive Learning Based Feature Comparison with Monomodal Normal Brain Images\

摘要

已经提出了许多基于深度学习（DL）的脑肿瘤分割方法。他们大多强调阐述深度网络的内部结构，以增强学习肿瘤相关特征的能力，而其他有价值的相关信息，如正常的大脑外观，往往被忽视。受放射科医生在识别肿瘤区域时经常被训练与正常组织进行比较这一事实的启发

本文提出了一种新的脑肿瘤分割框架，通过采用正常脑图像作为参考，在学习的特征空间中与肿瘤脑图像进行比较。通过这种方式，可以突出和增强肿瘤相关的特征，以实现精确的肿瘤分割。考虑到常规肿瘤脑图像是多模态的，而正常脑图像通常是单模态的，提出了一种新的基于对比学习的特征比较模块，以解决从多模态图像和单模态图像中学习到的特征之间的不可比性问题

代码地址

本文方法

我们提出的框架由两个子网络组成：1）分割主干网和2）正常外观网络。
分割主干的输入是多模态肿瘤脑图像，而正常外观网络以单模式（T1）正常脑图像作为输入。
单模态正常脑图像由变分自动编码器（IntroVAE）从输入多模态肿瘤脑图像中包含的T1模态产生
分割骨干和正常外观网络由编码器和解码器结构组成，其中每个编码器由四个卷积层组成，然后是批量归一化、ReLU和最大池化层，每个解码器有四个转置的卷积层来执行上采样。在分割主干的末端，设计了一个额外的卷积层来产生最终的分割结果
在两个子网络中，通过CLFC将两个模块进行特征级别对齐
采用了包含要分割的切片及其K个相邻切片（即2K+1个切片）的2.5D切片作为框架的输入。

实验结果