2020CVPR解读之何恺明新作PointRend：将图像分割视作渲染问题，显著提升语义/实例分割性能

2020CVPR解读之何恺明新作PointRend：将图像分割视作渲染问题，显著提升语义/实例分割性能

论文原文
源码

【导读】Facebook人工智能实验室何恺明团队提出一种高效、高质量的目标和场景图像分割新方法。他们提出了一个独特的视角，将图像分割视为一个渲染问题，提出PointRend神经网络模块。建立在现有的最先进的模型之上，PointRend可以灵活地应用于实例分割和语义分割任务。

摘要

提出了一种有效的高质量图像分割方法。通过将经典的计算机图形学高效渲染问题与像素标记任务中的过采样和欠采样挑战相类比，我们发展了一种独特的图像分割作为渲染问题的观点。从这个角度出发，我们提出了PointRend（Point-based Rendering）神经网络模块：一个基于迭代细分算法，在自适应选择的位置执行基于点的分割预测的模块。PointRend可以通过建立在现有的最新模型之上，灵活地应用于实例和语义分割任务。虽然许多具体实现的总体思路是可能的，我们表明，一个简单的设计已经取得了良好的效果。从质量上讲，PointRend在以前的方法过度平滑的区域中输出清晰的对象边界。从数量上讲，PointRend在COCO和cityscape上都获得了显著的收益，比如语义分割。

1.引言

图像分割任务包括将在规则网格上采样的像素映射到同一网格上的标签地图或一组标签地图。对于语义分割，标签映射指示每个像素处的预测类别。在实例分割的情况下，为每个检测到的对象预测二值前景与背景图。这些任务的现代选择工具是建立在卷积神经网络（CNN）上的。用于图像分割的cnn通常在规则网格上工作：输入图像是像素的规则网格，其隐藏表示是规则网格上的特征向量，其输出是规则网格上的标签地图。规则网格很方便，但不一定是图像分割的理想计算模板。由这些网络预测的标签地图应该大部分是平滑的，即相邻像素通常采用相同的标签，因为高频区域仅限于对象之间的稀疏边界。规则网格将不必要地过度采样平滑区域，同时在采样对象边界下。其结果是在平滑区域和模糊轮廓中进行过多的计算（图一左上角）。作为欠采样和过采样之间的折衷，图像分割方法通常在低分辨率规则网格上预测标签，例如，用于语义分割的输入的1/8[35]或28×28[19]进行分割。类似的抽样问题在计算机图形学中已经研究了几十年。例如，渲染器将模型（例如3D网格）映射到光栅化图像，即像素的规则网格。当输出在规则网格上时，计算不会在网格上均匀分配。相反，一种常见的图形策略是在图像平面上自适应选择的点的不规则子集上计算像素值。以文献[48]中的经典细分技术为例，它产生了一种四叉树样的采样模式，可以有效地渲染抗锯齿的高分辨率图像。本文的中心思想是将图像分割视为一个渲染问题，并将计算机图形学中的经典思想应用于高效“渲染”高质量的标签地图（见图1，左下角）。我们将这种计算思想封装在一个新的神经网络模块PointRend中，该模块使用细分策略自适应地选择一组不均匀的点来计算标签。PointRend可以合并到流行的元架构中，用于实例分割（例如Mask R-CNN[19]）和语义分割（例如FCN[35]）。它的细分策略比直接的、密集的计算少一个数量级的浮点运算，能有效地计算高分辨率的分割图。PointRend是一个通用模块，允许许多可能的实现。从抽象角度看，PointRend模块接受一个或多个典型的CNN特征图谱，这些被定