U-Net论文解析

---

前言

文章摘要部分的说明：
（1）利用少量数据集完成了训练（利用了数据增强的技术）
（2）通过一个压缩路径一个扩展路径构成了一个U-Net，前者用来捕获上下文，后者用来精确定位。
（3）成果：在2015年的ISBI挑战赛上获得了冠军（电子显微细胞分割）

---

一、介绍部分解读

（1）问题：深度学习网络会由于数据集的限制和网络的规模限制而无法训练——Krizhevsky训练了一个八层的神经网络含有百万个参数/ImageNet的出现得到解决
（2）相比较于分类问题，医学图片分割：输出需要包含每个像素的位置
——Ciresan训练了一个网络利用滑动窗口来提供附近位置的数据进而训练

优点：该网络实现了定位，同时很好的扩充了数据集
缺点：运行慢，因为每个patch单独运行，同时patch有大量的重叠部分；
在定位精度上和上下文的使用上需要进行权衡

（3）针对上述问题，提出了新的网络——全卷积网络（该网络架构为突破点1 ）
网络优势：只使用少数的图片就可以进行精准的分割
其中左半部分为压缩路径，右半部分为扩展路径。
1.对于前面的网络的缺点（1）其通过一个镜像复制的方式，将网络再次放到了右边，这样可以增加了分辨率，防止上采样过程中数据的丢失。
2.左边的网络基本上是两次卷积一次max pool，然后feature map的数量也不断扩增为之前的一倍。这个过程进行了特征的提取
3.然后到右边网络不断上采样，上采样后先和左边的镜像复制合并，再进行两次卷积，到最上层，最后通过一个1*1的卷积进行输出。

优势：

1. 无全连接层
2. 镜像拼接很好的处理了边缘问题
3. 上采样部分通过特征通道到高分辨层

（4）数据增强：最重要的是应用随机的弹性变换，这部分后面会再次说明

（5）对于损失进行加权：强化对紧密连接的细胞的学习

二、网络架构

1.基本构成

压缩路径和扩展路径

2.压缩路径

（1）对于网络的左半部分，每一层由连续的两个3*3的卷积核进行卷积（无padding）
（2）卷积后经过relu层，然后经过maxpooling（stride=2）
上面的一次操作可以理解为一次下采样，同时会加倍feature map

3.扩展路径

（1）先用2* 2的卷积核进行上采样，这样减半了feature channels
（2）然后是两个3* 3的卷积核，伴随着一个relu
（3）重点：伴随着一个从同层的压缩路径传来的镜像复制：这样很好的弥补了边界损失
（4）选取输入为576*576的原因是，可以让每一层maxpooling都是对于偶数层进行操作的，这样就减少了边缘损失

三、训练

1. 选取大的输入块，小的batchsize，好处是可以减少开销，同时更加充分的利用GPU

2. 采取高惯性m=0.99保证前面的层数会直接影响到后面的层级

3. Energy function:
   现在像素级上使用了softmax，之后又通过cross entropy function进行了损失计算

4. 对于像素级进行了加权，通过预估计的方式，用来补偿对于不同像素点学习频率不同的情况，这样保证了对于边界的学习。
   计算公式如下，其中w0初始化为10 ，σ ≈ 5 pixels.

5. 初始化权重：选取高斯分布，标准差为sqrt(2/N)的分布中提取。其中本U-Net的N为3* 3 * 64 = 576

4.数据增强

1. 平移、旋转
2. 灰度变化
3. 随机弹性变化：在3*3网络上随机（选取高斯分布中 标准差为10pixels）位移向量生成光滑的变形，每个像素层使用双三次插值来进行变化
4. 收缩层末端：使用dropout

四、应用

（1）电子显微镜下的神经元结构分割：
数据集：30张图片
结果：2015的ISBI中拿下第一，其Warping Error达到第一

以下参考了https://zhuanlan.zhihu.com/p/128539526
pixel error 则是根据每个像素位置计算分类错误的数量。

pixel error过于敏感，会考虑所有分割细节，warping error 和 Rand error则相对缓和，更倾向于形态和整体的分割质量，在生物医学图像分割上是较为合理的评价指标。

（2）在细胞分类光显微图像中，在PhC-U373数据中和DIC-HeLa的平均IorU都有不错的表现。

五、研究思路分析

1.要解决的问题

医学上的细胞分割（本质是图像分割问题）

2.面对问题

（1）如何解决使用少的训练数据完成训练
（2）如何尽可能的提高精度问题，这也带来了如何处理边缘的问题

3.操作

（1）对于问题1，其很关键的一点是利用了数据加强，除了一些常规操作，作者认为随机弹性变化起到了很重要的作用
（2）对于精度问题，首先是边缘问题，U-Net的构建利用镜像的一种copy，既保证了边缘数据不丢失，同时又利用下采样的过程保留了特征。并且对于边缘问题其还采用了一种加权的方式进行了处理。
（3）构建好网络，紧接着训练的时候做了一些处理，这在第三部分都有所陈述。
（4）最后是实验的成果分析：其采用了四个指标，分别是wraping error、rand error 和pixel error 以及IOU四个指标