Fully Convolutional Networks for Semantic Segmentation(FCN）论文笔记

本文是纽约大学Yann LeCun团队中Pierre Sermanet ，David Eigen和张翔等在13年撰写的一篇论文，本文改进了Alex-net，并用图像缩放和滑窗方法在test数据集上测试网络；提出了一种图像定位的方法；最后通过一个卷积网络来同时进行分类，定位和检测三个计算机视觉任务，并在ILSVRC2013中获得了很好的结果。—引用博客

1、解决什么问题

• 详细描述全卷积网络的空间结构，全卷积网络可以接受任意大小的输入，获得与输入同等大小的输出。解释了全卷积网络在空间密集预测任务（spatially dense prediction networks）中的原理。将全卷积网络与之前的网络模型相关联，将用于分类任务的网络：AlexNet、VGGnet、GoodleNet应用于全连接网络，将它们学习到的特征通过微调（fine-tuning）的方法转移到分割任务中。
• 使用一种跳跃结构（skip architecture），将深层学习到的抽象信息与浅层学到的细节信息（边缘等特征）相结合，以产生更详细准确的分割。
• 在PASCAL VOC , NYUDv2, and SIFT Flow三个数据集的分类任务中取得了state-of-the-art。

2、使用什么方法

• 使用迁移学习，利用最近一些成功的分类网络，将这些网络的的全连接层转换为全卷积层，然后微调，将分类网络转化为密集预测网络（像素级别）。
  
• 语义分割任务存在位置和语义信息之间内部的关联关系。语义和位置之间的关系：全局信息解决what问题，局部信息解决where。网络中不同层级的特征表示一张图片的非线性局部到全局金字塔的位置和语义信息，所以使用一种跳跃结构（skip architecture），将浅层网络和深层网络学习到的特征结合起来。
  

3、效果

4、还存在什么问题

5、论文相关知识点

使用卷积网络进行密度估计（dense prediction）的应用：
语义分割、边界预测、图像修复和深度估计等。