PointRend: Image Segmentation as Rendering论文阅读&翻译

论文地址

论文链接:
https://arxiv.org/abs/1912.08193.
源码连接：
https://github.com/facebookresearch/detectron2/tree/master/projects/PointRend.

Abstract

作者将图像分割视做渲染问题，并提出了PointRend（基于点的渲染）神经网络模块。这个模块基于迭代细分算法在自适应选择的位置执行基于点的分段预测。它可以灵活地在语义/实例分割模型中使用。

Introduction

用于图像分割的CNN操作的都是规则的网格，规则网格很方便，但不一定在计算上适合图像分割任务。这些网络预测的标签图应该基本上是平滑的，即，相邻像素经常有相同的标签，因为高频区域受限于对象之间的稀疏边界。规则网格将不必要地对平滑区域进行过度采样，同时对对象边界进行欠采样。 结果导致在平滑区域和轮廓模糊的情况下进行了大量的计算。
本文的中心思想是将图像分割视为一种渲染问题，并使计算机图形学中的经典思想适应有效地“渲染”高质量标签图。作者将这种计算思想封装在一个名为PointRend的新神经网络模块中，该模块使用细分策略来自适应地选择要在其上计算标签的一组非均匀点。它的细分策略使用的浮点运算比直接的密集计算要少一个数量级，从而可以有效地计算高分辨率分割图。

Method

渲染是将模型（例如3D网格）显示为像素的规则网格，即图像。 尽管输出表示形式是规则网格，但是基础物理实体（例如3D模型）是连续的，可以使用物理和几何推理（例如光线跟踪）在图像平面上的任何实值点查询其物理占用率和其他属性。我们可以将图像分割视为基础连续实体的占用图，然后从中“渲染”分割输出，该分割输出是预测标签的规则网格。该实体被编码在网络的特征图中，可以通过在任何点插值进行访问。一个参数化的函数，经过训练可以根据这些内插的点状特征表示法预测占用率，与物理和几何推理相对应。基于此，作者提出了PointRend（基于点的渲染）作为使用点表示的图像分割方法。一个PointRend模块接受一个或多个典型的CNN特征图$f\in R^{C\times H\times W})$每一个都定义了一个规则的网格，输出为k类的标签 p ∈ R K × H ′ × W ′