【语义分割论文阅读】Context-Reinforced Semantic Segmentation

1.（12）Context-Reinforced Semantic Segmentation

论文题目：Context-Reinforced Semantic Segmentation

代码地址：无

推荐指数：★★★☆☆

论文摘要：

最近的研究表明上下文在基于深度卷积神经网络的语义分割中的重要性。其中，预测分割图p-map对丰富的高级语义线索进行编码，这是一种有前景的上下文来源。本文在不增加任何新的监督样本的前提下，将上下文学习问题定义为马尔科夫决策过程，并利用强化学习进行优化.其中将 p-map和context Net视作环境和智能体。通过多次探索，上下文网络选择了对分割推理有长期效益的信息。文中的网络结构称作CiSS-Net,能进行端到端训练，试验结果表明，baseline结合Context Net能够提升3.9%的mIoU。
强化学习概念请点此处RL基础概念

---

1.1 方法概括

作者先描述了近期的语义分割任务中结合上下文信息的做法，然后指出p-map中间分割图、最终结果已经编码了丰富的包含局部和全局的高层语义信息，如物体和布局。作者指出，这是另外一种上下文信息候选。并且在深度网络中p-map的维度通常比特征图的维度要低，有助于上下文的探索。但是p-map通常包含很多噪声如误分类区域和混乱物体，这一点使得结合p-map进行语义分割非常具有挑战性。而本文希望探索p-map产生一种能够有效结合传统特征的上下文信息以提升语义分割性能。

1.1.1 模型结构

本文的模型CiSS-Net结构如图1所示，包含两个部分Context Net,CNet和Segment Net,SNet。前者从p-map中学习有效的语义上下文信息，后者将学习的上下文信息嵌入到基于FCN的分段推理中。由于很难判断从p-map中选择哪些信息作为上下文学习，因此没有加入任何新的监督样本。作者将上下文学习问题定义为马尔科夫决策过程，并提出通过CNet、SNet之间的交互来学习上下文。这一优化过程可以通过深度强化学习解决，将p-map视作环境而CNet视作智能体。在强化学习过程中，p-map能够一步一步的提升性能。

图1 模型结构