经典论文解析——Unet和Vnet——图像分割

  前言说点题外话，最近在实习了，所以总结整理的时间不多，之前的系列也会继续做，只是更新速度会放慢一些。我尽量还是本着以质为主的原则写博客，不弄太水的文章，希望对看过的读者能有帮助，以及对自己能有提升。
  言归正传，最近实习上下班在地铁上看了两篇论文，两者相关性还蛮大，所以放一起介绍。它们就是图像分割领域的 Unet(“U-Net Convolutional Networks for BiomedicalImage Segmentation”)和 Vnet(“V-Net Fully Convolutional Neural Networks forVolumetric Medical Image Segmentation”)。

1.Unet

1.1 网络简介

  在论文前言，作者简要介绍了以下几件事：

• 卷积网络的兴起，对图像领域的进步起到了多么多么大的进步；
• 经典卷积网络大部分都是针对图像分类任务的，但是在一些特定场景，如医疗图像处理领域，通常是需要像素级的分类任务，也就是图像分割任务；
• 为了解决医疗图像即需要像素级分割任务，又因为该领域具备缺少大量数据集的特点，所以Ciresan用滑窗法来解决该问题。但是有两点明显不足：a. 效率太低(太慢了)；b. 滑窗法的感受野(有效视野)大小和分割精度呈负相关关系。
• 作者以FCN全卷积神经网络为基础设计了Unet，其中包含两条串联的路径。数据先经过传统的特征提取路径(论文中称压缩路径，contracting path)，将图像压缩为由特征组成的feature maps。然后再经过特征复原路径(论文中称扩展路径， expansive path)，将提取的特征解码为与原始图像尺寸一样的分割后的预测图像。具体结构见下文的网络示意图。
• 在扩展路径上，和FCN网络不同的是，作者保留了大量的feature map通道，从而使更多的信息能流入最终复原的分割图像中。另外，为了降低在压缩路径上损失的图像信息，作者还将压缩路径的feature map叠加在扩展路径同尺寸的feature map上，再进行卷积和上采样工作，以此整合更多信息进行图像分割。
• 由于数据较少，所以数据增广必不可少。作者采用了弹性变形(elastic deformations)的图像增广，以此让网络学习更稳定的图像特征。因为作者的数据集是细胞组织的图像，细胞组织的边界每时每刻都会发生不规则的畸变，所以这种弹性变形的增广是非常有效的。
• 另外，细胞组织图像的一大特点是，多个同类的细胞会紧紧贴合在一起，其中只有细胞壁或膜组织分割，因此，作者在计算损失的过程中，给两个细胞重合的边缘部分增加了损失的权重，以此让网络更加注重这类重合的边缘信息，具体如下图所示(图取自论文)
  

1.2 网络结构

  论文作者还是很亲民的，给了一张Unet的网络结构图，有了这张图，对Unet的网络结构理解可以说是大有好处。小二，上图：
  这图怎么理解呢，从左上方开始，沿着U型一致到右上方，就是Unet的完整路径。以左上角第一层(stage)为例，输入图像是$572\times 572\times 1$的单通道图像，经过蓝色箭头($3\times 3$卷积层)卷积后，转变为$570\times 570\times 64$。为什么图像尺寸缩小了？因为论文里提到"only uses the valid part of each convolution"，所谓的valid convolution就是不使用padding的卷积(题外话，卷积操作其实有三种类型，和padding与否，padding多少有密切关系，大家可以去查一下英文专业术语和卷积类型的对应关系)。所以，经过$3\times 3$的卷积后，图像尺寸缩小了2。同理，再卷积后就变成了$568\times 568\times 64$。
  在左侧一个stage结束后，会经过一个红色箭头( 2 × 2 2\times2