Joint semantic segmentation and boundary detection using iterative pyramid cintexts

摘要：我们提出了一种用于语义分割和边界检测的联合多任务学习框架。它的关键组成部分是迭代金字塔上下文模型（PCM），它是双任务的，并且存储分享潜在的语义在两个任务之间迭代。对于语义边界检测，我们提出以新颖的空间梯度融合去抑制非语义的信息。语义边界检测是双边任务的，我们引入基于边界一致性约束损失函数去提高语义分割的边界像素精。我们的方法在语义分割和语义边界检测两方面超越了SOTA，特别的，我们在Cityscapes test数据集实现了81.8%的mIoU（没有用额外数据），在语义边界检测上也超越之前的SOTA（在AP指标上超了9.9%，在MF指标上超了6.8%）。
贡献点有三：
1.据我们所知，我们是第一个将语义边界检测和语义分割任务用PCM结合入一个联合多任务框架的。
2.在语义边缘检测模型中我们引入新颖的抑制非语义边界的策略：将语义分割得到的边界可能性图与语义边界图融合。
3.在语义分割模型中，我们设计了一个二元损失函数，通过强制让预测的边界与边界的GT保持一致，提高边界像素的精度。
总体结构：

 

 

 PCM结构：

本网络的原理是利用语义分割和边界检测的任务的关联性来实现提高网络的性能的。我们提出了金字塔上下文迭代网络（RPCNet）