学习笔记14——U-Net

论文学习：U-Net:Convolutional Networks for Biomedical Image Segmentation

动机：在生物医学任务中无法获得数千张训练图像。之前提出训练滑窗网络来预测每个像素的标签方法，但存在以下两个缺点。

1、很慢，由于网络必须在每个patch上分别运行，重叠的patch会导致大量的冗余。文中提出Overlap-tile策略改进。

2、在定位准确和上下文信息的使用间存在权衡。

本文提出了一种网络结构和训练策略，它依赖于充分利用数据增强技术来更高效地使用带有标签的数据。在U-net中，包括一个捕获上下文信息的收缩路径和一个对称的能够精确定位的拓展路径。

基于FCN的重要改进点是在上采样部分也有大量的特征通道，这允许网络传播上下文信息到更高分辨率的层。

一、网络架构

收缩路径就是常规的卷积网络，它包含重复的2个3x3卷积（无填充卷积），每个跟随ReLU和步长为2的2x2最大池化操作（池化操作即下采样，在每个下采样步骤将特征通道数x2）

拓展路径每个步骤包含特征图的上采样，然后是2x2卷积（向上卷积，它将特征通道数目减半），与相对应裁剪的收缩路径特征图相连接。和两个3x3卷积，每个跟随ReLU。

池化层会丢失图像信息和降低图像分辨率且是不可逆的操作，而上采样可以补足一些图片的信息，但是信息补充的肯定不完全，所以需要与左边的分辨率比较高的图片相连接起来（由于卷积是 valid conv 会有边缘像素的丢失，造成两者的尺寸并不相同，需要裁剪到与上采样图片一样大小），这就相当于在高分辨率和更抽象特征当中做一个trade-off。

重要创新点：

1、该网络没有任何全连接层并且只使用每个卷积的有效部分，即分割图（图像的输出）仅包含全部上下文信息（周围的像素点）都在输入图像中的像素点。

2、overlap-tile策略：允许任意大图像的无缝分割。要预测一个batch的标签，必须输入比之大的一个框的图像，输入图像没有的部分，用镜像法外推。

3、应用弹性变形进行大量数据增强。这能够让网络学习到不变性，这点在生物医学分割中很重要，因为变化曾是最常见的组织变异，能有效地模拟现实的变化。

随机弹性变形是使用在粗糙3x3网格上随机位移矢量产生平滑变形，每个像素位移使用二次插值计算。在收缩路径的最后加入 Drop-out，隐式地加强了数据增强。

4、许多细胞分割任务的挑战是分离同一类接触物体（如分割连在一起的同种细胞）。文中提出通过权重损失（加权损失）来解决，将在接触细胞中分离出的背景标签在损失函数中获得大的权重，使网络强制学习边缘像素。如图3 d细胞边缘红色部分。

二、训练

1、设置高动量的原因是可以使用大量先前看到的训练样本确定当前优化步骤中的更新。

2、权重计算

wc:特征图平衡类频率。 d1：定义为该像素点到最近细胞边界的距离。 d2:该像素点到第二近细胞边界的距离。

权重分配：根据公式可以看出，距离该像素点越远，绿色部分越小，几乎为0。所以远离细胞的地方，基本上权值都是一样的，接近于Wc，即在细胞边界附近的像素点给的权重会大一些，离细胞比较远的像素点的权重会小一些。对两个相同类贴在一起的细胞边界，赋值较大的权重，能够使训练的分类分割更加准确 。