FusionNet:A deep fully residual convolutional neural network for image segmentation in connectomics

FusionNet

0 摘要

Electron microscopic connectomics（电子显微镜连接组学）是一个炙手可热的研究方向，致力于通过高通量、纳米级显微镜来综合理解脑部连接图。但是人工消耗很大，现在深度学习网络发展的如日中天，我们搭建了一个FusionNet网络，用于在连接组学数据中自动分割神经元结构。（用神经网络去研究神经网络）

FusionNet利用了机器学习的最新进展，如语义分割和残差网络，并引入了允许更深的网络架构来实现更准确的分割的基于累加的跳过连接。

我们与ISBI EM segmentation challenge（这是一个挑战赛，EM指电子显微镜）的前几名的结果进行了对比，展现了我们的网络的性能。我们还展示了两个不同任务的分割结果，包括细胞膜和细胞核分割以及细胞形态的统计分析。

1 Introduction

电子显微镜得到的结果数据往往很庞大，它的分辨率很高，但是神经细胞里面往往有轴突等小的物体，1立方毫米体积的图像大小能够达到1PB（1PB大概相当于113块10T硬盘），之前采取的方法（体看不懂）需要人工的参与，费时费力，因此自动图像分析算法是连接组学领域一个重要而活跃的研究方向。

下图为：电子显微镜结果和细胞膜分割后的结果

现存的自动分割技术，主要是，基于相似性图的生成以及细胞膜的概率估计的CNN，进行patch-based pixel-wise classification（像素块分类）。但是奈何EM的数据量太大了，这玩意儿没办法处理。所以转战深度神经网络。

主要的contribution如下：

• 经过调研，我们采用了U-Net以及将ResNet模块引入到U-Net里面，实现了更深层次的分割网络，取得了不错的成效；
• 我们在那个挑战赛数据集上的效果很好，不用复杂的后处理，就取得了与前几名相媲美的结果；
• 专门为EM数据提出了data enrichment method（数据增强）方法，旋转和翻转；
• 在果蝇数据集上的细胞膜分割、斑马鱼数据集上的细胞核分割这两个实验中，展现了网络的灵活性。

2 Related work

主要介绍一些深度学习的背景调研

深度学习很火热，很多大的数据库被建立，VGG、GoogNet等网络兴起，医学领域，比如CT、MR（磁共振），也有深度学习技术的接入。

U-Net尽管可以很多的上下文信息（就是周边区域的信息）但是存在梯度消失问题，最近还提出了3D模型是的带焦点的U-Net模型（没看过，不清楚）。

在图像分类任务中，跳连接和直接求和的引入（shortcut connections and direction summations），允许梯度进行跨越多层传输（可以避免梯度消失）。

总之，就是我们的模型有理有据，效果很好。

3 Method

3.1 网络结构

注：红色的线是我自己画的，原论文里面有，不过太模糊了，我就加了几条表达意思，没有全部都加，还有小的紫色框是一个残差块，它也有skip连接，见右边小图的分解示意。

• 数字是每个层对应的图像（特征图）的大小；
• 绿色的是Conv+ReLU+BN层的集合体；
• 紫色的是残差块，由3个Conv+1个skip构成，它的前后都连着1个绿色Conv层；
• 天蓝色的是下采样，粉红色是利用反卷积进行上采样；
  
  结构图的具体设置如下（里面加了通道的表达）：
  
  我们的网络和U-Net的细节比较：U-Net是concat而我们是sum，一个是拼接，一个是加和，所以我们是残差网络（残差网络能解决梯度消失），再加上紫块内的跳连接，因此我们的网络层与层之间可以很灵活的进行信息流动。另外需要注意的是，每一个残差块（就是紫色的那个）的前后都有两个绿色的Conv（标准卷积层），它的目的是将通道调整一下，方便前后进行sum，否则通道数不一样加不成。
  

3.2 数据增强

我们将任何一个原图，分别旋转90、180、270度，然后进行上下的flip，最后进行随机的弹性形变，就能得到8倍的样本，除了弹性形变以外，随机旋转、随机翻转、随机转置等动态增强方式（动态增强方式就是依照概率进行的，不一定每次都执行）可以不使用。

说到弹性形变数据增强，这个是U-Net的里面首次提到的，在数据样本很少的时候，可以采用这种方式，可以有效地防止过拟合，具体的原理可以查阅相关资料。这里贴一个效果图（别的博主的）：

我们还给原始图像添加了均值为0，方差为0.1的高斯噪声，也对边界进行了扩展（U-Net也使用了这个方法，目的是对边缘进行精细的分割），原图是576 px 扩展了64 px，所以输入的图像是640 * 640 px的。本文也采取了shuffle（将样本的顺序打乱，可能是由于EM拍出来的结果是连续的，现在使用Pytorch训练的时候，一般都是shuffle=True）和three-fold cross validation（3折交叉验证），提高了模型的泛化能力。

下面是原论文给的弹性形变数据增强的例子：

3.3为试验环境的配置，就不说了。

4 Results

4.1 Drosophila EM data（果蝇的数据集-细胞膜分割）

如图所示，我们的方法和其他最先进的方法一样，能够去除线粒体(表现为深色纹理)和囊泡(表现为小气泡)。灰色区域是不确定的分割地带。

下图是一些具体的指标数据，一个是Rand error，另一个是warping error。比赛官方对于误差的定义

如果再进行后处理（我们只是进行了简单的的中值滤波），就处于前三名了，第一名的方法非常复杂（complicated lifting multi-cut algorithm to further enhance the result from the network）。我们以后可能会使用这种复杂的后处理方式。

4.2 Larval Zebrafish EM data（斑马鱼幼苗-细胞核分割）

将3D图先进行切片，再进行分割，然后进行三维重建。
下图的a,b,c,d分别是原图，Label，U-Net，FusionNet。可以看出我们的模型很好。

然后将分割出来的细胞的一些参数（比如体积、表面积、曲率、质心）进行聚类和统计，然后得到一些医学上的结论（比如很多特征是中线对称的，可以推出，斑马鱼幼苗的左右脑结构是相似的，我没有继续关注医学的推论）。具体的一些图，可以见最后的附加图

5 总结

我们的模型效果拔群、应用简单，是在医学领域实现快速分割的必备之选。

6 附加图

这是将分割结果叠加在原图上得到的效果图，是从一个角度看过去的平面图（正面）。

这是另一个角度，俯视图（别忘了这是一条鱼）

最后是细胞形态的统计分析：