DenseASPP for Semantic Segmentation in Street Scenes阅读笔记

DenseASPP for Semantic Segmentation in Street Scenes

摘要

本文提出了一种用于自动驾驶场景的DenseASPP网络。自动驾驶场景中的各个物体由于与摄像头距离不同，在规模尺寸上会有很大的差异，如图1所示。

因此，要使得多尺度的信息都被正确编码，这对场景中的高级特征表示方法提出了挑战。

针对这个问题，首先有人提出了带孔卷积[1]，它能在不损失空间分辨率的前提下，提高感受野。然后有人提出了Atrous Spatial Pyramid Pooling（ASPP）[2]，它可以将在不同扩张比下产生的带孔卷积特征图concatenate到最终的特征图中。

• ASPP的不足
  对于自动驾驶场景来说，在scale-axis上的特征分辨率不够密集。
• 解决方法
  提出Densely connected Atrous Spatial Pyramid Pooling（DenseASPP），它将一系列的带孔卷积层以一种密集的方式连接，因此它能够产生多尺度特征，这些特征以一种更加密集的方式包含着更广的scale范围，且这样做并不会显著扩大模型尺寸。

作者在Cityscapes[3]上进行了测试，并达到了最佳性能。

一、相关工作

高级语义信息对于好的performance至关重要，为了提取高级信息，FCN使用了多层的pooling以扩大感受野，但，这样做却降低了恢复出的图片分辨率，感受野和分辨率二者相互矛盾；于是提出了带孔卷积，带孔卷积核可以以不同的比率扩张（填零），优点是不增加参数量却扩大了感受野、增强了语义信息，但，在带孔卷积特征图中，所有神经元有同样的感受野，这意味着语义分割只在某一个规模上利用了特征，然而多尺度利用特征有利于处理模糊场景并且在分类时更具鲁棒性[4]；于是提出了ASPP，它将不同带孔卷积率产生的特征串联起来，以使输出特征图中的神经元包含着多种尺寸的感受野，也就包含多规模信息，从而提升性能，但，ASPP也有不足，因为在自动驾驶领域的图片往往具有很高的分辨率，这就要求神经元拥有更大的感受野，在ASPP中如果扩大扩张比例（如d>24），则会使得带孔卷积越来越无效并且失去建模能力。

因此针对自动驾驶图片处理中，需要一个既能够编码多规模信息，又有更大的感受野的网络。

二、 网络结构

DenseASPP的网络结构如图2所示。

图2（a）（b）是从细节与凝聚的不同角度对DenseASPP网络的描述，它以带孔卷积处理的层叠为base，它使用了上图中密集连接的方式，使得每一个带孔卷积生成的特征图feed到未被访问的带孔卷积层的头部。图2（b）给出了更为凝聚的表达方式。每一个带孔卷积层使用的d<24,这是合适的，从而避免