[深度学习从入门到女装]Scalable Multimodal Convolutional Networks for Brain Tumour Segmentation

论文地址：Scalable Multimodal Convolutional Networks for Brain Tumour Segmentation

 

这是MICCAI2017上的一篇应用多模态MRI进行脑部肿瘤分割的论文

传统使用多模态的方式就是将多模态的MRI进行concate然后作为一个输入放到分割CNN中，如上图中的（b），这种方式进行卷积的话，无法将模态之间分离开，直接把所有模态当做一个整体进行卷积，因此本文提出了把各个模态之间分离开进行卷积，如上图中的（a）

把多模态图像分为imaging modalities (M-space)和modality-conditioned features (F-space)，其实就是把各个模态的MRI(M-space)（）单独进行卷积之后，把不同模块的各个slice拼接到一起成为F-space（），然后再对每个F进行单独卷积之后，在把结果拼成(M-space)（）达到一次对多模态MRI进行卷积的作用

上图中p为特征图的slice数量，n为MRI的多模态数量

这么做相对于传统卷积的好处文中提到了三点：

基于这种FM的卷积方式，提出了用于多模态分割的网络ScaleNets

ScaleNets

整个网络结果分为BackEnd和FrontEnd，BackEnd就是用于多模态的融合，FrontEnd就是用于分割

可以看到对于多模态的最终融合提出了用两个方法，一个是用max， 一个使用average，来得到最终多模态融合的特征图

 

Baseline Monomodal Architecture：

使用《On the Compactness, Efficiency, and Representation of 3D Convolutional Networks: Brain Parcellation as a Pretext Task》中的网络结构进行肿瘤分割