论文：U-Net

Abstract:

       提出一个依赖于数据增强的方法来更有效的应用标注样本。我们的结构包括一个收缩路径来获得上下文信息和一个对称的扩张路径进行精确地定位，类似于autoencoder。

1.Introduction:

       在很多生物成像领域，输出需要包括定位信息，即每一个像素的类别都要知道，同时，样本数在生物医学领域比较少。[1] 提出了一个方法，通过提供一个 local region(patch) around the pixel 使用 sliding-window来预测那个pixel 的label。这个方法的优点是，可以定位且可以获得很多patch的数据。

       缺点也很明显，首先是慢，因为要在每一个patch上进行训练，且patch 会存在overlap问题，其次，这里存在定位精度和上下文信息使用的矛盾，比较大的patch需要大的pooling，这样会降低精度，但是小的patch获得的上下文信息就很少了。

多层特征的使用可以同时获得精度和上下文的信息。

      如下图是我们的主要结构。

       相比于FCN网络，我们将最后的pooling layer替换成了upsampling 操作，可以提高输出的分辨率。为了提高定位精度，收缩路径的高分辨率特征会和upsampling层结合。

       我们模型的一个重要改进是上采样部分特征channel很多，这样可以保证上下文信息可以传递到更高分辨率的层。在对边界图像进行预测的时候，缺失的部分使用镜像补充。

       我们使用弹性形变来扩增数据，这使得网络可以学到弹性不变形，这在生物分割领域也很重要，因为生物组织也具有这种弹性性质。

       细胞分割的另一个挑战是分离相同类别的有连接的物体，所以我们提出了一个weighted loss，在loss中将将相连物体的分开的background labels赋更高的weight.

2.Network Architecture

       模型的收缩部分是传统的卷积网络，包括重复的，3*3卷积（unpadded），RELU，和2*2 max pooling 操作。在每一个降采样过程，都把 channel增加2倍。在扩张路径，包括，上采样（2*2 up-convolution）操作，将channel降低两倍，一个concatenation步骤，融合croped收缩层，两个卷积和RELU层。Cropping操作十分必要，因为每一个卷基层都有边界像素的缺失。

Seamless tiling

3.Training

       我们倾向于使用大的 tiles而不是大的batch size.使用softmax 和交叉熵，交叉熵和平时不太一样

      W（x）是一个weight map，将某些pixels的权重设置的比较高。我们对每一个groundtruth segmentation 预训练一个weight map，来补偿每类像素的不同频率，使网络侧重于学习相互接触的细胞的边界。使用形态学计算分离边界，权重图计算公式如下：

        其中Wc是平衡类别频率的权重图，d1是最近的细胞和边界的距离，d2是第二近的细胞和边界的距离，可以看到，距离越近，权重越大。按照经验W0取10，方差取5。

4.数据增强

         数据增强有助于在数据很小的时候使网络学到不变性，提高网络的鲁棒性。在显微图像中我们需要获得平移和翻转不变性，对弹 性及灰度变化的鲁棒性。随机的弹性变化对小样本分割很重要。我们使用3*3 grid上的随机位移向量来进行平滑弹性变换。这些位移从十像素标准差的随机高斯分布中获得。然后，逐像素的位移用双三线性差值得到。收缩的最后一层用drop out 层也可以达到数据增强的作用。