PV-RCNN学习笔记

本文提出了一个基于LiDAR点云进行3D目标识别的框架PV-RCNN。系统体系结构图如下：

该框架融合了voxel-based和point-based的优点进行特征学习，提出了一个双阶段的体系结构，分别用voxel CNN生成目标提议并对目标提议进行优化。在优化的过程中，本文将整个点云抽象为一组关键点，再用关键点的特征增强提议，丰富提议的上下文信息，得到更精确的预测结果。

本文最精彩的地方是关键点的获取，这样既能达到优化提议的目的，又能节省计算和内存资源。此外本文在关键点特征融合和提议优化步骤都使用了多尺度的接收野，这样可以获取更加丰富的上下文信息，促进了识别性能的提高。

原文链接
源码链接

1. 论文摘要：

本文提出了一个新的高性能3D目标检测框架，称为PointVoxel-RCNN（PV-RCNN），该框架用于从点云中进行精确的3D目标检测。

本文提出的方法将3D体素卷积神经网络（CNN）和基于PointNet的集合抽象进行了深度集成，以学习更多可判别的点云特征，它利用了3D体素CNN的高效学习和高质量建议以及基于PointNet的网络接收野。

具体而言，本文提出的框架通过一个新的体素集抽象模块将具有3D体素CNN的3D场景汇总为一小组关键点，以节省后续计算并对代表性场景特征进行编码。给定由体素CNN生成的高质量3D建议提议，使用RoI-grid池，通过具有多个接收野的关键点集抽象将特定于提议的特征从关键点抽象到RoI-grid点。

Given the high-quality 3D proposals generated by the voxel CNN, the RoI-grid pooling is proposed to abstract proposal-specific features from the keypoints to the RoI-grid points via keypoint
set abstraction with multiple receptive fields.

与传统的池化操作相比，RoI-grid特征点编码了更丰富的上下文信息，用以准确地估计目标的置信度和位置。在KITTI数据集和Waymo Open数据集上进行的大量实验表明，PV-RCNN仅使用点云就很好地超越了最新的3D目标识别方法。