CV | Fully Convolutional Networks for Semantic Segmentation 全卷积网络FCN在语义分割的应用

最新推荐文章于 2024-07-27 00:21:28 发布

1LOVESJohnny

最新推荐文章于 2024-07-27 00:21:28 发布

阅读量566

点赞数 2

分类专栏： CV DL 文章标签： FCN image segmentation 图像分割 DNN

本文链接：https://blog.csdn.net/iLOVEJohnny/article/details/85081472

版权

CV 同时被 2 个专栏收录

22 篇文章 2 订阅

订阅专栏

16 篇文章 0 订阅

订阅专栏

FCN网络在图像分割取得里程碑式的成功，并且在工业界应用广泛，很值得学习，以此笔记记录论文的学习过程。

摘要

本文的关键创新点之一在于构建“全卷积”（Fully Convolutional）网络结构，该结构的输入可以为任意尺寸大小的图像，并可以生成对应大小的分割结果。稳重给出了全卷积网络的细节定义，并将其迁移到经典的分类网络上，如：AlexNet、VGG、GoogleNet等等。本文中还定义了一个跳跃结构（skip architecture），将从深层、粗粒度的网络层提取的语义信息和从浅层、清晰的网络层提取的表观特征结合，从而得到一个精确地分割结果。在数据集PASCAL VOC上，FCN取得了一个优于现有（当时）算法的性能；处理一张常见尺寸的图像，其推断过程只需要少于1/50秒的时间。

简介

卷积神经网络在CV领域已取得一定成绩。然而，FCN是当时第一个端到端的像素级别的图像分割算法。（所以很值得学习啊~~打岔结束）语义分割问题需要同时关注语义信息和局部特征：全局信息有助于判断语义信息，而局部信息有助于分割的像素级别的预测结果。本文中定义的跳跃结构（这个翻译= =想不出其他名字），将深层的语义信息和浅层的表观信息结合。

全卷积网络 Fully convolutional networks

（主题一定要把英文写上啊~有没有）

首先给出FCN的明确定义。全卷积网络FCN指的是仅包含卷积层、池化层等层的深度卷积网络。FCN可对任意尺寸的输入图像进行处理，同样可以输出对应空间维度的预测结果。

1. 用于稠密预测（dense prediction）的自适应分类器

稠密预测即为像素级别的预测。在图像分割问题中，我们期望端对端的模型可以直接输出图像中的目标分割结果，即像素级别的分类结果。

经典的识别网络，例如LeNet、AlexNet或更深的VGG、ResNet等等，通常设计为固定的输入尺寸，这个和其中包含的全连接层相关。然而在全卷积网络中，这个问题可以很好地转换，增大了输入的尺寸设计，同样还能得到像素级别的预测结果。将全连接结构转换为全卷积结构的示例图如下。

图中所示为将全连接层转换为全卷积层的分类网络的示例图，最终输出为蓝色底的热力图。最后，可通过增加一些其余层和一个空间损失函数，如下图所示，最终得到一个端到端的分割网络。

图中的图像经过若干次卷积、池化操作后，在输出前进行上采样操作，得到和真值尺寸相同的输出，基于此进行损失值计算。

此外，据作者的实验统计，FCN的时间效率与全连接网络相比较，对于单张输入大小为500×500的图像，时间效率大概提高了10倍。对于任意尺寸的输入，网络的输入采取网格状扫描的方式进行处理。网格剪裁的方式在后期的图像分割算法中被沿用，用于处理各种尺寸的输入，输出时将互相覆盖的网格输出预测maps叠加求平均。

2. 滤波稀薄处理——移动和拼接

这部分操作在作者实际的实验中并没有采用。但是作者这部分提出的思路很类似于后来Google提出的带孔卷积，并成功应用到deeplab系列。读经典论文的感觉就是，要站在巨人的肩膀上，所以要尽可能多读现有的论文，很有可能很多想法早在之前就被人点出。

滤波的稀薄处理类似于带孔卷积，为增大滤波器的感受野进行设计。因为实际方法没有用到，这里不再细说，感兴趣大家可以移步阅读原文。

3. 上采样等同于带stride的反向卷积

作者在2.中就提到，经过多次卷积操作，网络输出的预测map已经非常粗糙。上面提到的改进方案是从生成预测结果前的滤波着手，本小节则是对输出map进行处理。插值处理同样可以将粗糙的预测图和目标尺寸的输出相关联。这里的粗糙可以理解为像素尺寸，经过多次卷积操作后的特征图已经很小，而我们的目标输出是和输入图大小一致。

文中也提到可以使用反卷积（deconvolution layer），即子标题中的反向卷积，对此处得到的特征图进行尺寸恢复。优点是和卷积类似，可以学到一些非线性表达，而劣处是需要耗费更多的计算资源。因此，作者实验中直接使用上采样。