Progressive Semantic Segmentation

论文地址：https://arxiv.org/abs/2104.03778

代码链接：GitHub - VinAIResearch/MagNet: Progressive Semantic Segmentation (CVPR-2021)

摘要：一个多尺度的框架，通过在多个放大级别上观察图像来解决局部的模糊性。MagNet有多个处理阶段，其中每个阶段对应于一个放大级别，而一个阶段的输出被送入下一个阶段，进行粗到细的信息传播。每一阶段都以比前一阶段更高的分辨率分析图像，恢复先前由于降采样步骤而丢失的细节，并且分割输出通过各处理阶段逐步完善。在城市景观、航拍场景和医学图像的三个高分辨率数据集上的实验表明，Magnet的性能始终远远超过最先进的方法。

MagNet核心思想：

框架的核心是一个分割模块和一个细化模块，在每个阶段，细化模块的输入是两个分割图：前一阶段的累积结果和通过在当前比例下运行分割模块得到的结果。细化模块的目标是使用后一个分割图来细化前一个分割图。细化的位置是根据两个估计的分割图的不确定性确定的。只要它能输出带有不确定性估计的分割图，分割模块可以是任何分割骨干。细化模块与分割骨干无关；它可以用一个骨干进行训练，并在一个骨干上使用。（用上一阶段中size稍大的细节信息稍许损失、上下文信息范围更大的patch中获取的分割结果来，与当前阶段size稍小的细节信息丰富、上下文信息范围更小的patch获取的分割结果来相互优化。）

refinement module：用来在每个处理阶段完善分割图的单个patch。管道的每个处理阶段对分割图的各个块进行细化。该模块的输入是两个大小为h×w×C的分割图：来自以前所有比例的累积分割图Y和来自当前比例的比例特定分割图O。该模块的输出是更新的标度累积分割图。（类比于PointRend） 它包含以下步骤：

• 使用一个小型网络，以Y和O作为输入，我们得到一个初始的组合分割图R。
• 计算预测不确定性图。具体来说，对于Y的每个像素，在这个位置的预测置信度被定义为最高概率值与第二高概率值之间的绝对差值（在C类的C个概率值中）。
• 根据置信度得分计算出不确定性得分，使这两个分数必须加起来为1。
• 同样地，我们可以计算R的预测不确定性图。Yu和Ru表示Y和R的不确定性图。
• 接下来，我们将描述如何使用两个不确定性地图来选择Y的k个位置进行细化。用于对像素进行排名的分数图的计算方法是为F表示中值模糊来平滑分数图。

 

MagNet-Fast

框架在准确性和运行效率之间存在着权衡。减少运行时间的一个方法是减少要处理的尺度的数量。另一种方法是在每个尺度级别的图像patches的子集上进行分割和细化。MagNet-Fast结合了这两种方法，它在较少的尺度上运行的同时只选择预测不确定性最高的斑块Yu进行细化。此外，MagNet-Fast可以利用全局信息和细节信息进行分割，从而获得更好的结果。

效果