【2015-CVPR】Fully Convolutional Networks for Semantic Segmentation

概述

卷积网路自身逐像素端到端训练效果好于目前的SOTA语义分割网络，本文提出了FCN可接受任意大小输入并推理学习产生对应大小输出，它将来自深层的粗糙层语义信息和来自浅层的精细的外观信息相结合，该网络在PASCAL VOC上获得了SOTA。

• Paper
• Code

总结

• 创新点：
  • 1.端到端，逐像素预测，自监督预训练
  • 2.接受任意大小输入，推理并学习产生相应大小输出
  • 3.将浅层信息与深层信息相结合
• 不足：
• 分析：将全连接层改为了卷积层生成热力图，然后再加上个反卷积
• 结论：SOTA、end-to-end、pixels-to-pixels

---

1. Introdution

先前的语义分割网络，每个像素都用其包围的对象或区域的类别来标记，但是这就有其固有缺点。本文所提FCN的学习和推理，都是通过在一张整图上进行一次性密集的前馈计算和反向传播来执行的。网络内的上采样层通过二次采样池实现网络中的逐像素预测和学习。所提方法未用到前处理后处理的一些复杂方法

2. Related Work

全卷积网络已用于处理任意尺寸输入，也被拓展到现在的多层网络之中，但是还不能实现端到端的训练；目前卷积网络的密集预测包含的共同要素如下：P2

• 限制容量和感受野的小模型
• 局部训练
• 后处理（超像素投影、随机场正则化、滤波或局部分类）
• 由OverFeat引入的密集输出的输入位移和输出交错
• 多尺度金字塔处理
• 饱和双曲正切非线性

本文所提方法在深度分类网络的基础上使用监督预训练，微调，来实现从整个图像输入和整个图像真值中学习。

3. FCN

3.1 针对密集预测调整分类器

论文精读及分析：Fully Convolutional Networks for Semantic Segmentation