论文阅读：SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS（DeepLabV1）

1 摘要

深度卷积神经网络（DCNNs）在视觉任务中应用广泛，但是在语义分割中，使用DCNNs的最后一层进行预测存在分割定位不准备的问题。针对这个问题，作者结合DCNNs和CRF概率模型提出一种DeepLab结构，能够解决图像边界分割不清晰的问题，该结构在PASCAL VOC-2012中表现SOTA，达到了71.6% 的IOU。

2 存在的问题

当前的DCNNs主要存在两大问题：
① DCNNs中连续使用池化层会导致图像分辨率变低，使得图像的一些信息不完整。

② DCNNs的细节捕获能力较弱，尤其是目标的边界信息。

3 亮点

3.1 引入空洞卷积

在当时好像也没这么早叫空洞卷积，当时文章写的是引入空洞算法。作者指出，在图像的原始分辨率采用池化层导致在上采样时空间信息稀疏，因此，可以通过2或4的采样率的空洞卷积对特征图做采样扩大感受野，缩小步幅，能够使得特征图更为稠密。因此，作者将VGG16的最后两层的最大池化层使用带填充的空洞卷积替代，文章展示了一维的空洞卷积介绍：

上图表明，蓝色圈圈的图像的像素，而橙色的圈圈代表的是卷积的结果，可见图像像素是间隔（间隔的地方为空洞）叠加得到一个橙色结果。

3.2 引入CRF处理

针对图像最终的边界分割不清晰、不准确问题，作者使用CRF对图像进行处理，CRF实质是一个概率模型，数学味道比较浓重。全连接的CRF模型使用的能量函数为：
$$E(x)=\sum _i{\theta }_i(x_i)+\sum _{ij}{\theta }_{ij}(x_i,x_j)$$
① 各个符号的理解：