全卷积神经网络

Fully Convolutional Networks for Semantic Segmentation 论文链接

一、文章创新点

1. 这篇文章在结构上将卷积神经网络最后几层的全连接层用卷积层替代。
2. 为了用在语义分割任务重，对于卷积后得到的结果上采样到原图的大小。在上采样的过程中，不仅仅是上采样最后一层pool5层，得到FCN-32s（特征图长宽扩大32倍，与原图大小相同。基于AlexNet），而且还对pool4层接1x1的卷积，融合pool5层上采样2x的结果，得到stride 16 prediction。stride 16 prediction再上采样得到FCN-16s.
3. 2x上采样的参数通过线性差值初始化，但是这些参数是可学习的。
   使用与FCN-16s同样的方法，得到FCN-8s。

这种网络的优点：

1. 全部使用卷积层，网络可以接受任意尺寸大小的输入图像
2. 深层的特征图信息决定是什么，浅层的特征图可以获得更精细位置信息（浅层的感受野小，局部信息；深层的感受野大，全局信息）

二、网络结构

1. 全卷积神经网络的结构
   

2. 全卷积网络用于语义分割
   

3. 用卷积层代替全连接层

4. 评价标准
   评价标准参考
   
   

$n_{ij}$实际为第$i$类，但是预测为第$j$类的数量
$t_i$第$i$类像素点的数目
pixel accuracy: 所有像素点的正确率
mean accuracy: 每个类别像素点的正确率
mean IU: 类似于mean IOU的概率，label和prediction不再是矩形，而是不规则的形状。
${\Sigma }_j{n}_{ji}$:预测为第$i$类的所有像素点的个数

5. Patchwise training介于image training和pixel training之间的训练，即在语义分割任务中，将从原图片中随机crop多个子图进行训练

6. mean IU 类似于mean IoU的概念

7. 转置卷积
   转置卷积计算过程
   深度学习中的转置卷积
   转置卷积