论文阅读-语义分割(2021)-DDRNet:用于实时道路场景精准分割的深度冗余分辨率网络

DDRNet

论文：Hong Y, Pan H, Sun W, et al. Deep dual-resolution networks for real-time and accurate semantic segmentation of road scenes

地址：https://paperswithcode.com/paper/deep-dual-resolution-networks-for-real-time

论文阅读与模型介绍

  DDRNet用于道路场景的实时分割模型，模型基本流程如下图所示，网络经过一个主干模块后分为两个具有不同分辨率的平行分支，一个分支保持较高的分辨率另一个分支则通过多阶段下采样操作获得丰富的语义信息，两个分支的信息融合则通过双向桥接模块完成，模型最后还添加了一个DAPPM模块增加感受野以提取更丰富的语义信息。

冗余分辨率网络

  1）ResNet网络的Stage3阶段后新增一条高分辨率通路，保持特征图尺寸为8x下采样；2）ResNet的stem阶段的7×7卷积替换为两个3×3卷积；3）通路由残差模块RB构成，每条通路尾部增加一个BottleNeck模块RBB；4）高分辨率通路的特征图和低分辨率通路的特征图一一对应以进行双向融合。

双向融合

  如下图所示，对于high2low融合，高分辨率特征图首先经过一系列步长为2的3×3卷积进行下采样然后与低分辨率特征图进行pointwise相加；对于low2high融合，低分辨率特征图首先经过一个1×1卷积进行通道降维，之后使用双线性插值上采样扩张尺寸后与高分辨率特征图进行pointwise相加。

深度聚合空间金字塔池化模块-DAPPM

  如下图所示，首先对输入的64x下采样特征图应用大尺寸池化核与指数增长的步长以生成尺寸为128x、256、以及512x下采样的特征图，并逐步分层融合，首先对特征图应用1×1卷积后进行上采样，后通过3×3卷积后与上一层及的特征图进行进行融合（论文认为这里最大的特征图尺寸不过1/64，所以推理负担不大）。

实验结果

定量(Cityscapes)

定性

  从左到右：输入图像、GT掩码、DDRNet-23-slim预测结果、DDRNet-23预测结果

---

欢迎扫描二维码关注微信公众号 深度学习与数学 ，每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾。