图像分割——U-net

图像分割——U-net

1.论文地址

《U-Net: Convolutional Networks for Biomedical Image Segmentation》 http://www.arxiv.org/pdf/1505.04597.pdf

2.在介绍unet之前——CNN

什么是图像分割问题呢？ 简单的来讲就是给一张图像，检测是用框出框出物体，图像分割其目的是将图像分割成几组具有特定语义类别的区域，属于像素级别的密集分类问题。图像分割是自动驾驶、医学影像分割、行人检测等领域的技术基础，具有广泛的应用价值。

传统的图像分割方法大部分是基于图像本身的特征提取，需要在图像上生成不同的区域，再在区域上提取特征，对区域进行分类合并才能得到最终图像分割的结果，过程比较复杂，并且效果也有很大的提升空间。而作为计算机视觉领域最成功的一种深度学习模型，卷积神经网络（CNN）近年来取得了突破性进展。
CNN其实是一种特殊的前馈神经网络或多层感知器[3]。标准的CNN基础层结构主要包括卷积层、池化层和全连接层，通过连接这些层结构，组成一个完整CNN的结构，如图1所示。

图 1 标准CNN基本组成示意图

2.1 卷积层

功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量，类似于一个前馈神经网络的神经元。卷积层参数包括卷积核大小、步长和填充。

2.2 池化层

在卷积层进行特征提取后，输出的特征图会被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。池化层选取池化区域与卷积核扫描特征图步骤相同，由池化大小、步长和填充控制。

2.3 全连接层

全连接层的作用就是把所有局部特征结合变成全局特征，用来计算最后每一类的得分。
卷积神经网络中的全连接层等价于传统前馈神经网络中的隐含层。全连接层通常搭建在卷积神经网络隐含层的最后部分，并只向其它全连接层传递信号。研究发现，在这个过程中引入丢失输出（dropout）在全连接层前能够有效抑制过拟合的现象。
由于CNN最后提取的特征的尺度是变小的。和我们要求的函数不一样，我们要求的函数是输入多大，输出有多大。为了让CNN提取出来的尺度能到原图大小，FCN网络利用上采样和反卷积到原图像大小。然后做像素级的分类。在FCN的继基础上继续改进，构造unet.

3.U-net

3.1摘要

本文中提出了一种网络结构的训练策略，它依赖于充分利用数据增强技术来更高效的使用带有标签的数据。在U-Net结构中，包括一个捕获上下文信息的收缩路径和一个允许精确定位的对称拓展路径。这种方法可以使用非常少的数据完成端到端的训练，并获得最好的效果。

3.2 U-net结构框架

可以看右图，第一部分，特征提取，VGG类似。第二部分上采样部分。由于网络结构像U型，所以叫Unet网络。
特征提取部分，每经过一个池化层就一个尺度，包括原图尺度一共有5个尺度。
上采样部分，每上采样一次，就和特征提取部分对应的通道数相同尺度融合，但是融合之前要将其crop。这里的融合也是拼接。

a. U-net建立在FCN的网络架构上，作者修改并扩大了这个网络框架，使其能够使用很少的训练图像就得到很 精确的分割结果。
b.添加上采样阶段，并且添加了很多的特征通道，允许更多的原图像纹理的信息在高分辨率的layers中进行传播。
c. U-net没有FC层，且全程使用valid来进行卷积，这样的话可以保证分割的结果都是基于没有缺失的上下文特征得到的，因此输入输出的图像尺寸不太一样(但是在keras上代码做的都是same convolution)，对于图像很大的输入，可以使用overlap-strategy来进行无缝的图像输出。
d.细胞分割的另外一个难点在于将相同类别且互相接触的细胞分开，因此作者提出了weighted loss，也就是赋予相互接触的两个细胞之间的background标签更高的权重。

3.3 Ｕnet——输入输出

医学图像是一般相当大，但是分割时候不可能将原图太小输入网络，所以必须切成一张一张的小patch，在切成小patch的时候，Unet由于网络结构原因适合有overlap的切图，可以看图，红框是要分割区域，但是在切图时要包含周围区域，overlap另一个重要原因是周围overlap部分可以为分割区域边缘部分提供文理等信息。可以看黄框的边缘，分割结果并没有受到切成小patch而造成分割情况不好。

4 本文的创新点

1.提出了U-net这种网络结构。它同时具备捕捉上下文信息的收缩路径和允许精确定位的对称扩展路径，并且与FCN相比，U-net的上采样过程依然有大量的通道，这使得网络将上下文信息向更高层分辨率传播。
2.Overlap-tile 策略，这种方法用于补全输入图像的上下信息，可以解决由于现存不足造成的图像输入的问题。
3.使用随机弹性变形进行数据增强。
4.使用加权损失。预先计算权重图，一方面补偿了训练数据每类像素的不同频率，另一方面是网络更注重学习相互接触的细胞间边缘。