堆叠解卷积网络实现图像语义分割顶尖效果

选自arXiv

机器之心编译

参与：路雪

本文介绍了一种堆叠解卷积网络（Stacked Deconvolutional Network），它可用于高效的图像语义分割。该方法堆叠多个浅层解卷积网络，采用层级监督帮助网络优化，在多个数据集上实现了顶尖效果。机器之心对该论文进行了介绍。

链接：https://arxiv.org/pdf/1708.04943.pdf

摘要：语义分割领域的近期进展主要由改善全卷积网络（FCN）下的空间分辨率而得到。为了解决该问题，我们提出了一种堆叠解卷积网络（Stacked Deconvolutional Network/SDN）用于语义分割。在 SDN 中，多个浅层解卷积网络（即 SDN 单元）依次堆叠，以整合语境信息，确保位置信息的精细恢复。同时，单元间和单元内的连接被用来支持网络训练和提升特征融合，因为这些连接可以改善信息流和整个网络内的梯度传播。此外，在每个 SDN 单元的上采样过程中使用层级监督（hierarchical supervision），可以确保特征表示的区别并帮助网络优化。我们实现了综合性实验，并在三个数据集（PASCAL VOC 2012、CamVid、GATECH）上实现了顶尖结果。尤其是，我们的最好模型没有使用 CRF 后处理就在测试集上的 intersection-over-union 得分是 86.6%。

图 1. 我们方法的架构。上半部分表示我们提出的堆叠解卷积网络（SDN）的结构，下半部分表示 SDN 单元（a）、下采样模块（b）和上采样模块（c）的具体结构。

图 2. 上采样过程中带有分数图连接（score map connection）的层级监督。

图 3. 不同的堆叠 SDN 结构。

图 4. 我们的方法在 PASCAL VOC 2012 验证集上的结果。每一列列出了输入图像（A）、SDN_M1 网络的语义分割结果（B）、SDN_M2 网络的语义分割结果（C）、SDN_M3 网络的语义分割结果（D）和真值（E/Groundtruth）。

表 5. 我们的方法在 PASCAL VOC 2012 测试集上的实验结果。

图 5. 我们的方法在 PASCAL VOC 2012 数据集上的结果。每一行的图像从左到右分别是（1）输入图像（2）真值（3）语义分割结果。

图 6. 我们的方法在 CamVid 数据集上的结果。每一列从上到下依次是：（1）输入图像（2）语义分割结果（3）真值。

表 6. 我们的方法在 CamVid 测试集上的实验结果。

表7. GATECH 测试集上的实验结果

图 7. 我们的方法在 GATECH 数据集上的结果。每一列的图像从上到下依次是：（1）输入图像（2）语义分割结果（3）真值。