U-Net

U-Net:Convolutional Networks for Biomedical Image Segmentation
U-Net:用于医学图像分割的卷积神经网络
作者：Olaf Ronneberger, Philipp Fischer, and Thomas Brox
单位：Computer Science Department and BIOSS Centre for Biological Signalling Studies, University of Freiburg, Germany

摘要：

本文提出新的网络结构和新的训练方法，该方法利用数据增强更高效地使用已有数据。该网络结构包括捕获上下文的收缩路径和实现精确定位的对称扩展路径，收缩路径主要是用来捕捉图片中的上下文信息，而与之相对称的扩展路径则是为了对图片中所需要分割出来的部分进行精准定位。这种网络可以从非常少的图像进行端到端地训练，并且优于先前ISBI挑战赛中分割电子显微镜下堆叠的神经元结构的最佳方法（滑动窗口卷积网络）。除此之外，该网络结构还很快。

简介

典型的卷积神经网络分类任务，输出只是单纯一个类标签。但是，在医学图像处理过程中，输出应该包括定位：类标签应该分配个每个像素。除此之外，医学中的训练图像很难获取。因此，Ciresan等人在滑动窗口中训练网络，通过在该像素周围提供局部区域(patch)作为输入来预测每个像素的类别标签。这个方法有两个有点，第一：它能定位，第二：以patch为训练数据相比于训练图片的数量多得多。该网络在ISBI2012 EM分割挑战赛上获得了胜利，并且性能大幅度提高。
但是上述提到的方法也有两个缺点，第一：它训练比较慢，因为网络需要对每个patch独立的运行，并且重叠的patches会导致很多的冗余。第二：在定位精度和上下文环境的使用要找到平衡。更大的patches需要更多的max-pooling层，max-pooling层降低定位精度，然而小的patches会导致网络只能考虑很小的上下文环境。最近更多新的方法提出了分类器输出，它能考虑来自多层的特征。故好的定位和上下文环境的使用是可以同时做到的。
本文基于FCN，FCN的主要思想是：修改一个普通的逐层收缩的网络，用上采样(反卷积)操作代替网络后部的池化操作。因此，这些层增加了输出的分辨率。为了使用局部的信息，在网络收缩过程（路径）中产生的高分辨率特征，被连接到了修改后网络的上采样的结果上。在此之后，一个卷积层基于这些信息综合得到更精确的结果。U-Net对FCN进行了修改和扩充，使它能够在图片比较少的情况下起作用，并且分割更加精确。网络结构如下图：

相对于FCN一个大的修改是，我们的网络在上采样部分依然有大量的特征通道，这使得网络可以将环境信息向更高的分辨率层传播。结果是，扩张路径基本对称于收缩路径，产生了一个U形。网络不包含任何全连接层，并且只使用每个卷积的有效部分，例如，分割图只包含这样一些像素点，这些像素点的完整上下文都出现在输入图像中。为了预测图像边界区域的像素点，我们采用镜像图像的方式补全缺失的环境像素。这个tiling方法在使用网络分割大图像时是非常有用的，因为如果不这么做，GPU显存会限制图像分辨率。
我们的训练数据太少，因此我们采用弹性形变的方式增加数据。这可以让模型学习得到形变不变性。这对医学图像分割是非常重要的，因为组织的形变是非常常见的情况，并且计算机可以很有效的模拟真实的形变。在[3]中指出了在无监督特征学习中，增加数据以获取不变性的重要性。
在细胞分割任务中的另一个挑战是，如何将同类别的相互接触的目标分开。我们提出了使用一种带权重的损失。在损失函数中，分割相互接触的细胞获得了更大的权重。

网络结构：

收缩路径上是每两个 3 * 3 的卷积层（unpadded convolutional layers）后会跟一个2 * 2的最大池化层（Maxpooling layer: 步长为2），并且每个卷积层后面采用relu激活函数来对原始图片进行降采样操作，除此之外，每一次降采样都会增加一杯通道数（double the number of feature channel）。
在扩展路径的向上采样（deconvolution）中，每一步会有一个 2 * 2 的卷积层（激活函数也是relu）和一个两个 3 * 3 的卷积层，于此同时，每一步的升采样都会加入来自相对应收缩路径的特征图（经裁剪以保持相同的形状shape）。
在网络的最后一层是一个 1 * 1 的卷积层，通过这一操作可以将64通道的特征向量转换为所需要的分类结果的数量，最终，U-Net的整个网络一共有23层卷积层。

数据增加：

在只有少量样本的情况下，要想尽可能的让网络获得不变性和鲁棒性，数据增加是必不可少的。在处理显微镜图片时，需要保持平移与旋转不变性，以及对形变和灰度变化的鲁棒性。当标注图片很少时，将训练样本进行随机弹性形变是训练分割网络的关键。我们使用随机位移矢量在粗糙的3*3网格上产生平滑形变。 位移是从10像素标准偏差的高斯分布中采样的。然后使用双三次插值计算每个像素的位移。在收缩路径的末尾采用drop-out 层更进一步增加数据。