FCN文章翻译以及理解

为了记录督促自己的学习同时也和大家分享，想想还是来写一下博客了。如有问题欢迎指正。

原文地址

https://www.cv-foundation.org/openaccess/content_cvpr_2015/html/Long_Fully_Convolutional_Networks_2015_CVPR_paper.html

翻译仅供参考，有些单词我给出了原文。

摘要

卷积网络是一种功能强大的可视化模型，可以产生特征的层次结构。我们发现，卷积网络本身，经过训练的端到端像素，超过了语义分割的最新技术。我们的主要见解是建立“完全卷积”网络，它接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义和详细描述了完全卷积网络的空间，解释了它们在空间密集预测任务中的应用，并与先前的模型建立了联系。我们将当代分类网络（AlexNet[20]、VGG-net[31]和GoogLeNet[32]）改编成完全卷积网络，并通过微调[3]将它们的学习表示转移到分割任务中。然后，我们定义了一个skip架构，它将来自深层、粗层的语义信息与来自浅层、细层的外观信息相结合，以生成精确而详细的分段。我们的完全卷积网络实现了PASCAL VOC（2012年平均IU为62.2%的相对改善率为20%）、NYUDv2和SIFT流的最先进的分割，而推理对于典型图像的时间不到五分之一秒。

重点 接受任意大小的输入，将之前的网络改编成完全卷积网络，并通过微调转移到分割任务中。并且还定义了一个skip架构，将深层与浅层相结合。

介绍

卷积网络正在推动识别技术的进步。Convnets不仅改进了整体图像分类[20,31,32]，而且在结构化输出的局部任务上也取得了进展。其中包括包围盒目标检测[29，10，17]，零件和关键点预测[39，24]和局部对应[24，8]方面的进步。从粗略到精细推理的下一步自然是在每个像素处进行预测。以前的方法已经使用convnets进行语义分割[27,2,7,28,15,13,9]，其中每个像素都被标记为其封闭对象或区域的类别，但也存在这项工作所解决的缺点。

重点 之前的卷积网络除了对整体图像进行分类（也就是给你一张图，网络分辨出这是猫还是狗还是汽车），也有语义分割的进展，都是对每个像素进行标记，有其缺点。

我们证明了一个完全卷积网络（FCN）训练的端到端、像素到像素的语义分割在没有进一步的机器（machinery）的情况下超过了最新的水平。据我们所知，这是第一个端到端训练FCNs的工作（1）用于像素预测，（2）来自监督预训练。现有网络的完全卷积版本可以预测任意大小输入的密集输出。学习和推理都是通过密集的前向计算和反向传播来完成的。网络中的上采样层可以在子采样池网络中进行像素预测和学习。

这种方法是有效的，无论是渐进的还是绝对的，并且排除了其他工作中的并发症。补丁训练（Patchwise training ）很常见[27,2,7,28,9]，但缺乏完全卷积训练的效率。我们的方法不利用预处理和后处理的复杂性，包括超像素[7,15]、提案[15,13]或通过随机字段或局部分类器进行的事后优化[7,15]。我们的模型将最近在分类[20,31,32]方面取得的成功转化为密集预测，它将分类网络重新解释为完全卷积的，并根据它们的学习表示进行微调。相比之下，之前的工作无监督训练的小卷积网络。

语义分割面临着语义和位置之间的内在张力：全局信息解决什么，而局部信息解决哪里。深层特征层次将位置和语义编码在一个非线性的局部到全局金字塔中。在第4.2节中，我们定义了一个skip体系结构来利用这个特性谱，它结合了深度、粗糙、语义信息和浅、细、外观信息（见图3）。

在下一节中，我们将回顾有关深层分类网、FCNs以及最近使用convnets进行语义分割的方法的相关工作。接下来的章节将解释FCN设计和密集预测的权衡，介绍我们的网络内上采样和多层组合的体系结构，并描述我们的实验框架。最后，我们展示了PASCAL VOC 2011-2、NYUDv2和SIFT-Flow的最新结果。

相关工作

我们的方法借鉴了最近在图像分类[1]、[2]、[3]和转移学习[18]、[19]方面取得的成功。首先在各种视觉识别任务[18]，[19]上演示了迁移，然后在检测上，以及在混合提议分类模型[5]，[14]，[15]中的实例和语义分割上演示了迁移。我们现在重新构建并微调分类网络，以指导语义分割的密集预测。我们绘制了FCN的空间图，并将以前的模型联系起来，包括历史的和最近的。