论文阅读|FCN

xiaoweiyuya

于 2022-03-03 15:52:53 发布

阅读量782

点赞数

分类专栏：网络结构文章标签： cnn 深度学习神经网络

本文链接：https://blog.csdn.net/weixin_45782047/article/details/123167793

版权

网络结构专栏收录该内容

9 篇文章 2 订阅

订阅专栏

Fully Convolutional Networks for Semantic Segmentation

原文：Fully Convolutional Networks for Semantic Segmentation (cv-foundation.org)

参考资料：

四、全卷积网络FCN详细讲解（超级详细哦）_会哭泣的猫的博客-CSDN博客_全卷积网络

FCN和CNN的比较

CNN: 在传统的CNN网络中，在最后的卷积层之后会连接上若干个全连接层，将卷积层产生的特征图（feature map）映射成为一个固定长度的特征向量。一般的CNN结构适用于图像级别的分类和回归任务，因为它们最后都期望得到输入图像的分类的概率，如ALexNet网络最后输出一个1000维的向量表示输入图像属于每一类的概率。如下图所示：

FCN：FCN是对图像进行像素级的分类（也就是每个像素点都进行分类），从而解决了语义级别的图像分割问题。与上面介绍的经典CNN在卷积层使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷基层的特征图（feature map）进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息，最后奇偶在上采样的特征图进行像素的分类。如下图所示：

FCN与CNN的区别在于FCN把CNN最后的全连接层换成卷积层，其输出的是一张已经标记好的图，而不是一个概率值。

上采样方法

双线性插值上采样

单线性插值（一个方向上）就是知道两个点的值，并将两点连成一条直线，来确定中间的点的值，假设,现在有两点中的点就可以用线上的点表示。双线性插值（两个方向上）是一个三维的坐标系，因此，需要找到4个点来确定中心点坐标，如下图所示的例子：

卷积运算

卷积运算可划分为三种：Same卷积、Valid卷积、Full卷积(反卷积)。

Same卷积（四周补0）

通过Padding填充0运算保证卷积前后特征图大小不变，即W1=W2、H1=H2。公式为：(W1-F+2P)/S+1 = W2。若令W1=W2则可计算填充0的P的值为多少。如，令F=3，S=1，W1=5，则计算P=1.

Valid卷积(无padding)

不加入Padding运算，直接进行卷积运算，特征图会变小。公式为：(W1-F)/S+1=W2,如，令W1=5，F=3，S=1，则W2=3。

Full卷积（反卷积）

实现反卷积运算的核心步骤是在特征图中padding 0，然后进行卷积运算使得特征图变大。公式为：(W1-F+2P)/S+1 = W2。如，令W1=5，F=3，P=2，S=1，则W2=7。

只在四周补0会导致最边上的信息不太好，那我们把这个信息平均下，在每个像素与像素之间补0，如下图所示：

反池化上采样

反池化可以用下图来理解，在池化时需要记录下池化的位置，反池化时把池化的位置直接还原，其他位置填0。

上面三种方法各有优缺，双线性插值方法实现简单，无需训练；反卷积上采样需要训练，但能更好的还原特征图。

本文使用的反卷积运算方式则不同于以上的Full卷积方式，而是首先对特征图各神经元之间进行0填充，即上池化；然后再进行卷积运算。计算公式为：(W1−1)×S-2×P+F=W2

FCN具体实现

FCN结构

将CNN中的后三层的全连接网络换位卷积网络

经过多次卷积后，图像的分辨率越来越低，为了从低分辨率的热图heatmap恢复到原图大小，以便对原图上每一个像素点进行分类预测，需要对热图heatmap进行反卷积，也就是上采样。论文中首先进行了一个上池化操作，再进行反卷积（上述所提到的上池化操作和反卷积操作，其实可以理解为上卷积操作），使得图像分辨率提高到原图大小。如下图所示：