论文笔记：Fully Convolutional Networks for Semantic Segmentation

摘要

卷积网络是产生特征层次结构的强大视觉模型。我们展示了卷积网络本身，经过端到端、像素到像素的训练，超过了语义分割的最新技术水平。我们的主要见解是构建“全卷积”网络，该网络接受任意大小的输入并通过有效的推理和学习产生相应大小的输出。我们定义并详细说明了全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并绘制了与先前模型的联系。我们将当代分类网络（AlexNet 、VGG 网络和 GoogLeNet）调整为完全卷积网络，并通过微调将它们学习到的表征转移到分割任务中。然后，我们定义了一个 skip 架构，它将来自深层、粗糙层的语义信息与来自浅层、精细层的外观信息相结合，以产生准确和详细的分割。我们的全卷积网络实现了 PASCAL VOC（2012 年平均 IU 62.2% 相对改进 20%）、NYUDv2 和 SIFT Flow 的最先进分割，而对于典型图像的推理时间不到五分之一秒。

1.引言

卷积网络正在推动识别方面的进步。 Convnets 不仅在整体图像分类 上有所改进，而且在具有结构化输出的本地任务上也取得了进展。其中包括边界框对象检测 、部分和关键点预测以及局部对应方面的进展。

从粗略推理到精细推理的自然下一步是对每个像素进行预测。先前的方法使用卷积神经网络进行语义分割 ，其中每个像素都标有其封闭对象或区域的类别，但存在这项工作解决的缺点。

我们表明，在没有进一步机器的情况下，经过端到端、像素到像素的语义分割训练的全卷积网络 (FCN) 超越了最先进的技术水平。据我们所知，这是第一项端到端训练 FCN 的工作用于像素预测和监督预训练。现有网络的完全卷积版本预测来自任意大小输入的密集输出。学习和推理都是通过密集的前馈计算和反向传播一次对整个图像执行的。网络内上采样层可以在具有子采样池的网络中进行像素级预测和学习。