[深度学习从入门到女装]FCN+RNN for 3D image segmentation

论文地址：Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation

 

这篇论文使用FCN+RNN结合来进行图像分割

 

文章首先总结目前对于3D医学图像分割的四种方法：

1、使用2D FCN如2D U-Net、DCAN等网络，应用在slice上，然后把slice的分割结果堆叠到一起成为3D的分割结果

缺点：只是单纯使用slice进行分割之后堆叠，会缺失z轴上的context信息

2、使用3D卷积来代替2D卷积，如3D U-Net

缺点：使用3D卷积会增加计算量和内存消耗

3、使用Tri-planar schemes，也就是使用2D卷积在三个平面维度（xy，yz，xz）进行卷积，得到体素的分类结果

4、使用RNN来结合context，多数都是使用Pyramid-LSTM，使用6个LSTM网络得到3D context

34缺点：对于z轴上的低分辨率会产生问题

 

又因为医学3D图像通常是通过z轴上的slice进行堆叠而成，因此本文采用FCN+RNN的方式来进行3D分割，也就是将3D的图像，根据z轴上的切片，成为多个2D图像，然后使用2D U-Net进行分割（特征提取，intra-slice context）之后，使用RNN来将所有的切片进行z轴上的context（inter-slice context）联系，最终得到3D的分割结果

 

kU-Net

就是使用k个U-Net进行串联，每个U-Net使用之前feature map融合进来进行细分割，这篇文章只使用到了2个

上图为这篇文章提到的四种两个U-Net的融合方式，最终本文选择的是（A）方案

 

BDC-LSTM

Classic LSTM:

convolutional LSTM（CLSTM）：

其中为卷积操作，为element-wise product（元素对应相乘）

Bi-Directional Convolutional LSTM (BDC-LSTM)：

就是使用两层CLSTM堆叠起来，每层是不同方向传递，如下图（A）

 

Combining kU-Net and BDC-LSTM