论文笔记：Boundary-Aware Feature Propagation for Scene Segmentation

摘要

为了增加同一对象的特征相似性，同时保持不同对象的特征差别， 我们探索在对象边界的控制下，在整个图像中传播信息。为此，首先提出将边界作为一个附加的语义类来学习，以使网络能够注意到边界布局。 然后提出了用单向无环图(UAGs）来建立无向循环图(UCGs)的函数模型，它通过构建图形逐像素连接来构造图像。 此外，我们还提出了一个边界感知特征传播(BFP)模块，用于获取和传播在UAG 结构图像中的学习边界隔离的区域内的局部特征。 所提出的BFP能够通过在同一段区域之间建立强连接，而在不同断区域之间建立弱连接，将特征传播分解为 一组语义组。没有外加的功能，我们的方法在三个具有挑战性的语义分割数据集上实现了新的最先进的分割性能，即PASCAL-Context、CamVid和CityScape。

介绍

本文提出了一个边界感知的特征传播模块，用于在同一段内建立强连接，并在不同段之间建立弱连接，如图1所示。 这个模块需要两个组成部分：边界检测和图形构造。
首先，边界检测是场景分割中的一项隐含任务，对于细致的密集预测具有重要意义。然而，在现有的分割方法中，边界检测并没有引起应有的注意，因为边界像素只占整个图像的一小部分， 它对性能的提高贡献不大。。这项工作中，我们试图找到一种同时实现分割和边界检测的方法，并进一步利用所学习的边界信息来增强分割性能。 关于这一点，我们建议从分割数据集中给出的现有对象类标签中生成语义对象的边界标签，并将其定义为一个额外的类来学习和分类。 通过这样做，可以学习到准确的边界，并且将边界看为一个额外的类，因为边界上像素的特征与边界外大多数像素的特征不同。
第二，需要图形模型来创建特征传播的顺序规则。 卷积方法[13,79]在场景分割中很流行，但当从大范围的接收字段聚合特征时，它们通常消耗大量的计算资源。 此外，卷积核不能随输入分辨率而变化，因此不能保证对整体图像的整体视图。 最近，DAG-RNN提出使用四个不同方向的有向无环图(DAG)来建模无向循环图(UCGs)的函数，该图通过构建来对图像进行结构化 整个图像的逐像素连接。 然而，DAG需要大量的循环来逐像素地扫描图像。 因此，即使在低分辨率特征图上也是非常缓慢的，这限制了它在“膨胀FCN”和 Cityscapes等高分辨率数据集上的的应用。 为了解决这一问题，我们提出了一个更有效的图形模型，以实现更快的特征传播。 我们发现[66]采用的每个DAG都可以被两个单向无环图(UAGs)替代)， 其中，同一行或列的像素与一维卷积并行处理。 提出的UAG大大加快了特征传播过程。 此外，与极深的DAGS不同，所提出的UAGs更浅，从而缓