PV-RCNN++论文详解

相比于PV-RCNN，这篇有两个创新点，一是keypoint的采样，在PV-RCNN里是在原始点云FPS，这篇是采样原始点云再做FPS；二是局部特征提取的采样方式，前篇是用VSA模块

网络流程：

Sectorized Proposal-Centric (SPC) keypoint sampling

Proposal-Centric Filtering

先前工作的缺点：在PV-RCNN里FPS的计算复杂度O(n*n)，生成时间长，而且会提取很多背景点，在predict-keypoint-weight阶段还要做一次分割，计算量复杂

以RPN生成的proposal为中心，提取proposal周围的点来作为keypoint的采样点

D ：Np个3d proposal，ci为中心点，di为size

以proposal为中心采样半径内的点，pi为整个点云场景的点，max(dj)表示size里最长的一条边，P’ 就表示半径内的点

结果如下，圈出来的点。这样采样keypoint的计算复杂度从 P 减少到 P‘（大概从180k减少到90k）

Sectorized Keypoint Sampling

以点云场景中心为中心，将 P‘ 分成 s 份，分成一个个的扇形区域。

arctan( py i , px i ) ∈ (−π, π]，所以，第 k-th 个扇形区域从 S’ k 里采样 ⌊ S′ / k P ′ × n ⌋ 个 keypoint。

keypoint采样的计算复杂度从P‘ 减少到S’ k。之后，在每个扇形区域做FPS，采样keypoint；在实验部分，提出了几种采样keypoint的方法，都可以看看

VectorPool Aggregation on Point Clouds

采样方法（这里可玩性很强，例如为什么不拿整个子体素的点做插值、拿相接子体素的所有点做插值

N个目标点 Q = {qk | qk ∈ R3}N k=1

M个支持点（周围点）I = {[hi, ai] | hi ∈ RCin , ai ∈ R3}M i=1

将为Q中的每个点提取N个带有Cout通道的局部点特征（从M中获取）

qk 为目标点（keypoint），在该level上以keypoint为中心获取立体邻域

为生成位置敏感的以keypoint为中心的局部立体邻域，将立体邻域分成nx × ny × nz 个局部子体素，每个子体素索引 t ∈ {1, . . . , nx × ny × nz}。使用反距离加权插值，每个子体素中心 vt 与离体素中心最近的三个点 yk 做特征插值（pointnet++也是类似的插值），wi 是三个最近点与该子体素的中心求距离的倒数

每个子体素的插值特征concat上三个最近的点与该子体素中心的相对距离，分别与一个权重矩阵 Wt 相乘，Wt ∈ R(9+Cin)×Cmid，{ai − vt}i∈Gt ∈ R(3×3=9)

按照空间顺序排列子体素，U ∈ RCout，这个就是keypoint的特征。特别的是，因为每个keypoint生成的子体素数量相同，所以生成的插值特征通道相同，可以相加

ROI-grid里使用vectorpool的采样方法，随机采样6 × 6 × 6=216个 grid point，每个grid point做 vectorpool，keypoint为支持点，将立体邻域里的keypoint的特征插值给gridpoint。之后的步骤和PV-RCNN一样。

实验部分

mAPH

对Waymo open数据集，新的评价指标mAPH：它的计算方法与mAP不同的地方在于绘制的P-R图是由预测的heading准确率加权的，TP参数会被预测的heading加权。记预测的heading与真实的heading角度差为A（A值域为[ 0 , Π ]，对每一个真正例的TP计算方法如下： T P = 1 − A / Π 

其他指标都不变，以此来绘制P − R 图并计算mAP就是mAPH了。具体可以看Waymo官网

LEVEL1 和 LEVEL2

LEVEL1 表示gt box里至少有5个点

LEVEL 2 表示gt box里至少有一个点，LEVEL 2 的mAPH是最重要的指标

anchor

论文中还展示了两种生成proposal的方法，anchor-based RPN head 在 PV-RCNN ； center-based RPN head 在 centerpoint

Coverage Rate

CR 一种评价指标，对keypoint采样质量的评估

实验部分还有许多对比实验，可以去看看