Multi-stage context refinement network for semantic segmentation

用于语义分割的多阶段上下文细化网络

背景

卷积神经网络中的下采样操作会降低初始图象分辨率，丢失图像空间细节，导致图像分割结果模糊。

贡献

1. 通过提取不同阶段的图像特征来捕获更多的空间和上下文信息，从而获得更好的分割性能
2. 提出网格形式的膨胀卷积和链模型结构组成最低分辨率链上下文聚合模块。更多的感受野
3. 特征提取和特征细化组成的高分辨率上下文注意力细化模块，不仅收集了不同阶段的上下文特征，还融合和了多阶段的空间信息，从而可以提高空间上下文的利用率

实验

PASCAL VOC2012 是一个著名的语义分割基准数据集，包含 20 个前景对象类和 1 个背景类。有 1464 个训练图像、1449 个验证图像和 1456 个测试图像。
ADE20K MIT 数据集非常具有挑战性，它包含 22 K 密集标注的图像和 150 个细粒度语义概念。训练集和验证集分别由 20 K 和 2 K 图像组成。
Cityscapes 数据集是一个用于城市街景语义分割的大型数据集，具有 19 个语义类的高质量像素级标签。它分为两种类型：精细数据集和粗数据集。精细数据集包含来自 50 个不同城市的 5,000 张图像、训练数据集中的 2,979 张图像、验证数据集中的 500 张图像以及测试数据集中的 1,525 张图像。Coarse 数据集有 19998 张图像。每张图像的分辨率为 2048*1024。

方法

Lowest-resolution chain context aggregation

对于像素级分类任务，语义上下文信息非常重要。一般来说，分辨率较低的特征图中存在较多的语义上下文，因此通常采用下采样来降低分辨率来获取语义信息。但是，下采样会导致图像细节丢失。为了捕获更多的语义上下文信息以及图像细节，我们通过采用具有不同膨胀率的膨胀卷积来增加感受野，从而构建了一个分辨率最低的链上下文聚合模块。图 3 显示了我们提出的最高分辨率链上下文聚合模块的结构。从图 3 可以看出，它有 5 个链上下文分支。

把低分辨率特征图通过不同膨胀率的膨胀卷积获得不同尺度特征，增加感受野，缓解因分辨率下降造成的细节信息丢失

High-resolution context attention refinement

图 4 的左侧部分显示了上下文特征提取部分的结构。对于不同阶段的特征图XHS，我们首先使用普通的33卷积来获取局部上下文信息，然后使用膨胀卷积的33卷积来增加特征感受野，从而获得全局上下文信息。我们进一步将批量归一化 （BN） 和参数 ReLu 应用于普通卷积和膨胀卷积。接下来，我们将提取的全局信息和局部信息融合在一起，并使用没有两个完整连接层的SE注意力模型来引导提取的特征上下文信息。最后，我们在整个上下文特征提取部分添加了原始特征图的残差连接，以保证梯度的平滑传播。
提取各阶段的高分辨率上下文特征后，进一步融合高分辨率上下文特征和低分辨率上下文特征，并通过注意力细化方法细化融合特征。整个过程称为上下文特征细化，其结构如图 4 的右侧所示。实际上，我们首先使用语义流方法[46]Semantic flow for fast and accurate scene parsing将高分辨率上下文特征和低分辨率上下文特征进行融合，以尽可能减少两者的特征排斥反应，并整合不同阶段的特征，融合结构如图4 Flow Fusion的子图所示。此外，我们根据以下步骤进行细化。首先，我们使用全局平均池化来捕获全局信息，并使用 1 1 卷积和 sigmoid 将其转换为全局特征图。
其次，使用 3 3 卷积和 3 3 展开卷积对 Conv [43]-BN [41]-ReLU [42] 处理的全局特征图进行细化，并进行简单的批量归一化 （BN） 和 ReLu 运算。处理后的特征图具有全局感受野和局部感受野，我们使用初始的全局特征图将其连接起来，以细化不同大小的物体的特征。最后，我们使用跳转连接将初始特征信息与最终输出相结合，以补偿卷积池化操作造成的信息损失。

Thinking

提出了一种用于语义分割的多阶段上下文细化网络（MCRNet）。提出的LCCA模块处理低分辨率特征图，并使用链结构收集丰富的语义上下文信息，以指导高级特征语义上下文信息的获取。我们提出的HCAR模块首先利用局部和全局上下文信息的融合来提取高分辨率地图的特征，然后对其特征图进行细化和重新校准，以增强不同对象之间的特征相关性。采用深度引导和浅层引导，以渐进的残差结构执行密集的预测任务。实验结果表明，所提出的MCRNet是有效的。