cvpr2021|Rethinking BiSeNet For Real-time Semantic Segmentation

Paper: https://arxiv.org/abs/2104.13188

Code: https://github.com/MichaelFan01/STDC-Seg

介绍

BiSeNet [28，27]已被证明是一种流行的实时分段的双流网络。然而，其添加额外路径来编码空间信息的原理是耗时的，并且由于特定任务设计的不足，从预处理任务(例如图像分类)借用的主干对于图像分割可能是低效的。为了解决这些问题，我们提出了一种新的高效的结构——短时密集连接网络(STDCnetwork)，通过去除结构冗余来实现。具体来说，我们逐步降低特征地图的维数，并使用它们的集合来进行图像表示，这形成了STDC网络的基本模块。在解码器中，我们通过将空间信息的学习以单流方式集成到低层来提出细节聚合模块。最后，融合低层特征和深层特征来预测最终的分割结果。在Cityscapes上，我们在NVIDIA GTX 1080Ti上以250.4 FPS的速度在测试集上实现了71.9%的mIoU，比最新的方法快45.2%，在更高分辨率的图像上推理时，以97.0 FPS实现了76.8%的mIoU。

添加额外的路径来获得低层特征是耗时的，并且辅助路径总是缺乏低层信息指导。

为此，我们提出了一种新的手工网络，其目的在于更快的推理速度、可解释的结构以及与现有方法的竞争性能。首先，我们设计了一种新的结构，称为短期密集连接模块(STDC模块)，以获得具有安全参数的可变可伸缩感受野。然后，将这些模块无缝集成到U-net架构中，形成STDC网络，极大地提升了语义分割任务中的网络性能。