语义分割|ECCV2020|论文无公式解读|Object-Contextual Representations for Semantic Segmentation

ECCV2020:用于语义分割的对象上下文表示

---

摘要

本文研究了语义分割中的上下文聚合问题。由于像素的标签是像素所属对象的类别，我们提出了一种简单而有效的方法-对象上下文表示，通过利用对应物体类别的表示来描述像素，简单来说，就是一个像素对应着一个目的物体的类别，比如某一块汽车中的像素就对应着一个汽车，我们就用汽车来代表描述这个像素。主要思想是显式地把像素分类问题转化成物体区域分类问题，这与语义分割问题的原始定义是一致的，即每一个像素的类别就是该像素属于的物体的类别，换言之，与 PSPNet 和 DeepLabv3+ 的上下文信息最主要的不同就在于 OCR 方法显式地增强了物体信息。

一、OCR方法

（1）从骨干网络得到特征表示，我们将上下文像素划分为一组软对象区域，每个区域对应一个类，生成的一个简单粗略的语义分割结果（软对象区域）作为 OCR 方法的一个输入，矩阵表示为bch*w；

（2）根据软对象区域（b * c * h * w）和网络最深层输入的特征表示(b * k * h * w)表示计算出 K 组向量，即对象区域表示（Object Region Representations），其中每一个向量对应一个语义类别的特征表示，矩阵表示为b * c * k * 1;

（3）计算网络最深层输出的像素特征表示（Pixel Representations）与计