Fully Convolutional Networks for Semantic Segmentation笔记

摘要

1. 在语义分割方面，卷积神经网络通过端到端的像素训练，已经超过了目前的水平。
2. 全卷积神经网络，可以接受任意大小的输入，通过推理和学习之后，输出同样大小的像素。
3. 详细描述了全卷积神经网络的空间，解释了它们在空间密集预测任务中的应用。
4. 将它们与之前的模型联系起来。我们将当代的分类网络(AlexNet[20]、VGG net[31]和GoogLeNet[32])改造成完全卷积的网络，并通过微调[3]将它们的学习表示转移到分割任务中。
5. 定义了一个skip架构，它结合了来自深度粗层的语义信息和来自深度细层的外观信息，从而生成精确而详细的分段。
6. 本文中的全卷积网络实现了PASCAL VOC(相对于2012年的62.2%的平均IU提高了20%)、NYUDv2和SIFT的最先进分割，对于一个典型的图像，推理需要不到五分之一秒的时间

1.前言

1. 卷积网络正在推动识别技术的进步。 在全图像分类和结构化输出的局部任务上都取得了进展。
2. 从粗推理到细推理的自然下一步是对每个像素进行预测。 以前的语义分割都是使用卷积神经网络，每一个像素都是使用其封闭对象或者区域的类标记。
3. 完全卷积网络（FCN）实现了端到端、像素到像素的语义分割，超过了当前最先进的机制。 现有网络的全卷积版本可以预测任意大小输入的密集输出，通过密集的前馈计算和反向传播，实现了对图像的学习和推理。网络内的上采样层支持子采样池网络中的像素级预测和学习。
4. 目前缺乏全卷积训练的效率。 本文的模型将最近分类方面的成功案例转化为密集预测，将他们的分类 网络转化为全卷积的，并进行微调。
5. 语义分割面临着语义和位置之间的内在张力:全局信息决定什么，而局部信息决定哪里。 深层特征层次结构在一个非线性的局部到全局金字塔中编码位置和语义。