FCN-Fully Convolutional Networks

FCN-Fully Convolutional Networks

FCN：模型网络中的所有层都是卷积层，故称为全卷积网络。（从图像级别的分类进一步延伸到像素级别的分类，解决了语义级别的图像分割问题）

卷积是下采样，用来提取图片的特征；反卷积是上采样，可以扩大数据维度。
在FCN中先用卷积操作提取图像特征，再进行反卷积对特征图进行上采样，使它恢复到输入图像相同的尺寸，从而实现对每一个像素都产生一个预测,同时保留了原始输入图像中的空间信息, 最后在上采样的特征图上进行逐像素分类。

FCN具体过程：

FCN输入的图像是H✖W大小，经过多次卷积和pooling以后，得到的图像越来越小，分辨率越来越低。第一层pooling之后变为H/4✖W/4大小，第二层pooling后变为H/8✖W/8大小，第五层pooling后变为H/16✖W/16大小，第八层之后变为H/32✖W/32大小，第八层图片是最小的，被称作heatmap热图（高维特征图）。将得到的heatmap进行upsampling上采样将图像放大到原图像大小。
最后的输出是1000张（1000个类别）heatmap经upsampling之后变为原图大小的图片。

通过逐个像素的求其在1000张图片中该像素位置的最大概率作为该像素的label，从而实现对每个像素进行分类预测label成最后已经进行语义分割的图像。

FCN特点：
（1）FCN将CNN中的全连接层转化为卷积层。//可以适应任意尺寸的输入
（2）FCN可以接受任意尺寸的输入图像，采用反卷积对最后一个卷积层的特征图进行上采样（双线性上采样），使它恢复到输入图像相同的尺寸，从而对每一个像素都产生一个预测。
（3）FCN采用了融合输出：（跳跃结构）
卷积神经网络的深层可以更好地提取图片的特征，但会丢失掉图片元素的空间信息浅层可以提取图片的位置信息，但不能提取全局特征。在神经网络的不同深度的层中，浅层表示位置信息，深层表示特征信息。图像的语义分割既需要位置信息也需要特征信息。
FCN采用了一种叫做“skip architecture”的方法：将浅层的卷积层和深层的卷积层进行反卷积（上采样），将它们的输出结果合并。