2021 CVPR | 基于渐进感受局部区域推理的全方位监督点云分割

2021 CVPR | Omni-supervised Point Cloud Segmentation via Gradual Receptive Field Component Reasoning

图1 ScanNet v2数据中点云的RFCC图示（从上到下）。在解码阶段，分割问题被分解为一个更容易的全局上下文识别问题（预测全局RFCCs，见图顶部）和一系列感受局部区域推理的问题。

1 Motivation

本期带来的是2021年CVPR接收的一篇关于点云语义分割的文章。本文的核心出发点是，认为由于之前的监督学习仅针对神经网络中的输出结果进行预测，因此隐藏层特征通常无法学习到3D分割的信息表达，然而这个问题可以通过对中间层的多尺度监督来解决。本文的Omni-supervised实际上是一种多尺度监督方法。

2 主要贡献

在本文中，作者首次提出了渐进感受局部区域推理(RFCR)，并将多尺度监督方法引入点云分割问题，其中目标感受局部区域编码(RFCCs)的目的是记录编码器中隐藏单元的感受区域的类别。然后，目标RFCCs将监督解码器以从粗到细的类别推理方式逐步推断RFCC，最终获得目标语义标签。由于许多隐藏层特征不活跃，并且对RFCC预测的贡献很小，因此作者提出了一种具有离心趋势的特征密集化以获得更明确的特征，它实际上相当于对特征进行熵值的正则化。更多的显著特征可以进一步释放多尺度监督方法的潜力。作者将本文的方法嵌入到四个流行的网络构架中，并在三个具有挑战性的基准数据集上进行测试。结果显示该方法可以显着改善网络构架在所有三个数据集中的效果。具体来说，该方法在S3DIS和Semantic3D上取得了SOTA性能，并在在ScanNet基准测试里的所有基于点的方法中mIoU性能排名第一。

3 引言

点云语义分割问题中的数据点的语义标签推断任务在3D视觉中是十分有挑战性的。同时该技术可广泛应用于机器人、自动驾驶和虚拟/增强现实等领域。为了处理点云分割问题，以前的工作通常是引入了精心设计的编码器-解码器架构，在编码阶段分层提取全局上下文特征，并在解码阶段将上下文特征分配给点以实现逐点标记。然而，在典型的编码器-解码器框架中，网络仅通过对最后一层中的点标签进行监督，而忽略了其他层中的隐藏单元，缺乏直接监督来提取具有特征的信息量。换句话说，就是多尺度/全尺度监督确实是必要的。

在2D视觉中，CVAE尝试给出多尺度预测和监督，以在分割任务中提取有用的特征。并使用迭代上采样粗预测然后对其进行微调以获得最终结果，从而可以一起监督不同尺度的预测。

然而，到目前为止，由于点云自身所具有的不规则性，还没有人成功地将多尺度，更不用说全尺度监督应用于3D语义分割。与2D图像不同，因为采样点云和原始点云之间没有固定的映射关系，在点云上很难通过简单的平铺或插值将隐藏特征上采样到原始分辨率，尤其是在采样是随机的情况下。此外，使用最近邻的常见上采样方法无法追踪编码关系，从而对中间特征引入了不正确的监督。

为了解决这个问题，作者提出了一种通过渐进感受局部区域推理的全方位监督方法。作者没有将隐藏特征上采样到原始分辨率，而是设计了一个感受局部区域代码（RFCC）来有效地跟踪编码关系并表示每个隐藏单元的感受区域的类别。从而实现在所有尺度上监督网络。具体来说，在解码阶段，目标RFCCs将监督网络以预测不同尺度的RFCCs，这个过程就变相理解为就一个渐进的推理过程。

此外，作者为了进一步释放全尺度监督的潜力，提取更多的活跃特征（即具有较大量级的特征）来实现RFCC预测，作者又提出了一种潜在函数的特征密集化方法，该潜在特征实际上相当于特征的一个熵损失计算。

4 相关工作

在相关工作部分中，作者主要根据文章的相关切入点介绍了三方面工作的内容（1.点云语义分割；2.多尺度监督；3.熵的正则化）。

5 方法

5.1感受区域编码（RFCC）

在原始点云中标记一个点的标签是容易的。同时，为任何下采样点云中的点提供标签可以从其感受区域内的点接收信息。因此作者设计了一个感受局部区域编码（RFCC）来表示编码器中采样点感受区域内所有类别。目标RFCC是在编码阶段与特征的卷积和采样一起生成的。换句话说，在编码阶段（图2中顶部分支的左侧部分）和RFCC生成（图2(a)）之间使用共享采样，因此生成的目标R