CV | Fully Convolutional Networks for Semantic Segmentation 全卷积网络FCN在语义分割的应用

 

FCN网络在图像分割取得里程碑式的成功，并且在工业界应用广泛，很值得学习，以此笔记记录论文的学习过程。

 

摘要

本文的关键创新点之一在于构建“全卷积”（Fully Convolutional）网络结构，该结构的输入可以为任意尺寸大小的图像，并可以生成对应大小的分割结果。稳重给出了全卷积网络的细节定义，并将其迁移到经典的分类网络上，如：AlexNet、VGG、GoogleNet等等。本文中还定义了一个跳跃结构（skip architecture），将从深层、粗粒度的网络层提取的语义信息和从浅层、清晰的网络层提取的表观特征结合，从而得到一个精确地分割结果。在数据集PASCAL VOC上，FCN取得了一个优于现有（当时）算法的性能；处理一张常见尺寸的图像，其推断过程只需要少于1/50秒的时间。

 

简介

卷积神经网络在CV领域已取得一定成绩。然而，FCN是当时第一个端到端的像素级别的图像分割算法。（所以很值得学习啊~~打岔结束）语义分割问题需要同时关注语义信息和局部特征：全局信息有助于判断语义信息，而局部信息有助于分割的像素级别的预测结果。本文中定义的跳跃结构（这个翻译= =想不出其他名字），将深层的语义信息和浅层的表观信息结合。

 

全卷积网络 Fully convolutional networks

（主题一定要把英文写上啊~有没有）

首先给出FCN的明确定义。全卷积网络FCN指的是仅包含卷积层、池化层等层的深度卷积网络。FCN可对任意尺寸的输入图像进行处理，同样可以输出对应空间维度的预测结果。

 

1. 用于稠密预测（dense prediction）的自适应分类器

稠密预测即为像素级别的预测。在图像分割问题中，我们期望端对端的模型可以直接输出图像中的目标分割结果，即像素级别的分类结果。

 

经典的识别网络，例如LeNet、AlexNet或更深的VGG、ResNet等等，通常设计为固定的输入尺寸，这个和其中包含的全连接层相关。然而在全卷积网络中，这个问题可以很好地转换，增大了输入的尺寸设计，同样还能得到像素级别的预测结果。将全连接结构转换为全卷积结构的示例图如下。

图中所示为将全连接层转换为全卷积层的分类网络的示例图，最终输出为蓝色底的热力图。最后，可通过增加一些其余层和一个空间损失函数，如下图所示，最终得到一个端到端的分割网络。

图中的图像经过若干次卷积、池化操作后，在输出前进行上采样操作，得到和真值尺寸相同的输出，基于此进行损失值计算。

 

此外，据作者的实验统计，FCN的时间效率与全连接网络相比较，对于单张输入大小为500×500的图像，时间效率大概提高了10倍。对于任意尺寸的输入，网络的输入采取网格状扫描的方式进行处理。网格剪裁的方式在后期的图像分割算法中被沿用，用于处理各种尺寸的输入，输出时将互相覆盖的网格输出预测maps叠加求平均。

 

2. 滤波稀薄处理——移动和拼接

这部分操作在作者实际的实验中并没有采用。但是作者这部分提出的思路很类似于后来Google提出的带孔卷积，并成功应用到deeplab系列。读经典论文的感觉就是，要站在巨人的肩膀上，所以要尽可能多读现有的论文，很有可能很多想法早在之前就被人点出。

 

滤波的稀薄处理类似于带孔卷积，为增大滤波器的感受野进行设计。因为实际方法没有用到，这里不再细说，感兴趣大家可以移步阅读原文。

 

3. 上采样等同于带stride的反向卷积

作者在2.中就提到，经过多次卷积操作，网络输出的预测map已经非常粗糙。上面提到的改进方案是从生成预测结果前的滤波着手，本小节则是对输出map进行处理。插值处理同样可以将粗糙的预测图和目标尺寸的输出相关联。这里的粗糙可以理解为像素尺寸，经过多次卷积操作后的特征图已经很小，而我们的目标输出是和输入图大小一致。

 

文中也提到可以使用反卷积（deconvolution layer），即子标题中的反向卷积，对此处得到的特征图进行尺寸恢复。优点是和卷积类似，可以学到一些非线性表达，而劣处是需要耗费更多的计算资源。因此，作者实验中直接使用上采样。

 

4. 基于块的训练模式会损失精度

随机优化中，梯度的计算依赖于训练分布。基于块的训练和全卷积训练可以得到任意的数据分布，而它们的时间效率依赖于块的覆盖度以及minibatch的尺寸。全图训练的全卷积训练等同于基于块的训练，感受野为整张图像。全图训练相较于基于块的训练更加高效一些，因为没有重复的覆盖部分。

 

FCN的作者在实验中有尝试不同的训练策略，最终发现基于块的训练模式并没有收敛地更快更好，相较而言，全图训练更加快速和有效。（实验是检验一切的真理。~233333

 

 

以上为FCN的主要介绍，具体的实验部分大家可以参看原文~

 

欢迎大家多多讨论！

 

PPS 今年冬天是真冷啊~\(≧▽≦)/~