论文地址:Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation
这篇论文使用FCN+RNN结合来进行图像分割
文章首先总结目前对于3D医学图像分割的四种方法:
1、使用2D FCN如2D U-Net、DCAN等网络,应用在slice上,然后把slice的分割结果堆叠到一起成为3D的分割结果
缺点:只是单纯使用slice进行分割之后堆叠,会缺失z轴上的context信息
2、使用3D卷积来代替2D卷积,如3D U-Net
缺点:使用3D卷积会增加计算量和内存消耗
3、使用Tri-planar schemes,也就是使用2D卷积在三个平面维度(xy,yz,xz)进行卷积,得到体素的分类结果
4、使用RNN来结合context,多数都是使用Pyramid-LSTM,使用6个LSTM网络得到3D context
34缺点:对于z轴上的低分辨率会产生问题
又因为医学3D图像通常是通过z轴上的slice进行堆叠而成,因此本文采用FCN+RNN的方式来进行3D分割,也就是将3D的图像,根据z轴上的切片,成为多个2D图像,然后使用2D U-Net进行分割(特征提取,intra-slice context)之后,使用RNN来将所有的切片进行z轴上的context(inter-slice context)联系,最终得到3D的分割结果
kU-Net
就是使用k个U-Net进行串联,每个U-Net使用之前feature map融合进来进行细分割,这篇文章只使用到了2个
上图为这篇文章提到的四种两个U-Net的融合方式,最终本文选择的是(A)方案
BDC-LSTM
Classic LSTM:
convolutional LSTM(CLSTM):
其中为卷积操作,为element-wise product(元素对应相乘)
Bi-Directional Convolutional LSTM (BDC-LSTM):
就是使用两层CLSTM堆叠起来,每层是不同方向传递,如下图(A)