语义分割中的全卷积网络-FCN

一 语义分割的前置基础

1.1 语义分割

语义分割是计算机视觉中的关键任务之一。现实中，越来越多的应用场景需要从影像中推理出相关的知识或语义（从具体到抽象的过程）。作为计算机视觉的核心问题，语义分割对于场景理解的重要性日渐突出。

首先我们来分辨一下三个概念：语义分割、实例分割、全景分割
语义分割：对场景中不同类别进行标注
实例分割：是对场景中所有目标进行标注 除开背景
全景分割：则是加上背景的实例分割

1.2 语义分割的现状

传统方法：Normalized cut/Structured Random Forests/SVM
代表的问题：在实际的运用中，每次只能切割一次图片，为了分割出图像上的多个物体，需要多次运行，效率低，准确率不高
深度学习代表的问题：不匹配关系，全局和局部特征会影响对结果的判断 可以用SPP，ASPP，PSPNet，GCN等主流网络来解决
对于一些不寻常的类别可能分割不是很准确

1.3 语义分割实现流程

• 训练：
  • 根据batch的大小，将数据集中的训练样本和标签读入到卷积神经网络中，根据实际需要，应先对训练图片以及标签进行预处理，如：裁剪、数据增强等，则有利于深层网络的训练，加速收敛过程，同时避免过拟合问题。
• 验证：
  • 训练一个epoch结束后，将数据集中的验证样本和标签读入卷积神经网络，并载入训练权重，根据编写好的语义分割指标进行验证，得到当前训练过程中的指标分数，保存对应权重，常用一次训练一次验证的方法更好的监督模型的表现。
• 测试：
  • 所有训练结束后，将数据集中的测试样本和标签读入卷积神经网络，并将保存的最好权重值载入模型，进行测试，测试结果分为两种，一种是根据指标分数衡量，一种是将网络的预测结果以图片的形式保存下来

1.4 语义分割中常用的数据集

1.5 语义分割中常用的指标

• PA（pixel Accuracy） 像素精度：标记正确的像素占总像素的比例
• MPA 对像素精度做平均
• MIoU 均交并比 计算真实值和预测值的交集和并集

二 FCN论文研究成果

1. 将分类网络改变成为全卷积网络，具体包含全链接层转化为卷积层以及通过返卷积进行上采样
2. 使用迁移学习的方法进行微调
3. 使用跳跃连接的结构使得语义信息可以和表征信息相结合，产生准确而精细的分割
4. FCN证明了端到端、像素到像素训练方式下的卷积神经网络超过了现有语义分割方向最先进的技术

三 摘要

• 主要成就：端到端、像素到像素训练方式下的卷积神经网络超过了现有语义分割方向最先进的技术
• 核心思想：搭建了一个全卷积网络，输入任意尺寸的图像，经过有效推理和学习得到相同尺寸的输出
• 主要方法：将当前分类网络改变成全卷积网络，并进行微调设计了跳跃连接将全局信息和局部信息连接起来，相互补偿

四 引言&相关工作

以往的分割方法中，主要有两大缺点：

1.基于像素块的分割虽然常见，但是效率低，且往往需要前期或者后期处理（如超像素、检测框、局部预分类）
2.语义分割面临着语义和位置信息不可兼得的问题。全局信息解决的“是什么”，而局部信息解决 的是“在哪里”

为了解决上面的问题，本文三个创新点：

1.将分类网络改变为全卷积神经网络，具体包括全链接层转化为卷积层以及通过返卷积进行上采样
2.使用迁移学习的方法进行微调
3.使用跳跃结构使得语义信息可以和表征信息相结合，产生准确的分割

4.1 全局信息和局部信息

局部信息是浅层网络中提取出的，物体的集合信息比较丰富，有利于提高分割尺寸较小的目标，有利于提高分割的精确程度
全局信息是深层网络中提取出的，物体的空间信息比较丰富，对应的感受野较大，有利于提高分割的精确程度

4.2 平移不变性

宏观结果：图像中的目标无论被移动到图片中的那个位置，分类结构都应该是相同的
具体过程：卷积&最大池化 约等于 平移 不变图像中的目标有移动时得到的特征图也会移动

五 VGG 与 FCN

FCN网络中，将CNN网络的后三层全部转化为1*1的卷积核所对应等同向量长度的多通道卷积层，整个网络模型全部都是由卷积层组成，没有全链接层产生的向量，CNN是图像级别的识别，也就是从图像到结果，而FCN是像素级别的识别，标注出输入图像上的每一个像素最可能属于哪一个类别

六 整个算法架构