Adaptive Pyramid Context Network for Semantic Segmentation
简述:
当前,基于语境的分词方法在如何构建语境结构以及在实践中不同的表现上存在着一定的差异,特别的是,发现全局导向的局部亲和力(GLA)在构建有效的语境特征中至关重要。本文介绍了一种基于自适应金字塔上下文网络(Adaptive Pyramid Context Network)的语义分割,简称APCNet,APCNet采用多个设计良好的自适应上下文模块(ACMs)自适应地构造多尺度上下文表示,具体来说,每个ACM利用全局图像表示作为指导来估计每个子区域的局部亲和系数(affinities),然后使用这些局部亲和系数计算上下文向量。
问题or相关工作:
目前,语义分割的挑战来自于同一对象/材料的内部内容、形状和尺度的变化,以及不同对象/材料之间容易混淆和精细的边界。本文提出了三点建议:
1.多尺度(Multi-scale):由于对象通常具有不同的大小和位置,因此需要构造多尺度表示来捕获不同尺度的图像内容。
2.自适应(Adaptive):一个图片中并不是所有区域的权重都是一样的,所以,自适应地识别这些重要区域是构建最优上下文向量的重要方法。
3.全局导引的局部亲和力(Global-guided Local Affinity (GLA)):意思就是从相关像素或区域聚合特征,以往的研究主要是利用像素和重区域的局部表示来估计这些自适应权值,忽略了全局上下文,本文对上下文导引的作用有明确的阐释并加以运用。
下图为当前众多方法对以上三点特性的运用:<