STD 学习笔记

《STD: Sparse-to-Dense 3D Object Detector for Point Cloud》2019ICCV

摘要

新的两阶段3D目标检测框架，称之为稀疏到稠密三维目标检测框架（STD）

（1）第一阶段是自下而上的proposal生成网络：该网络使用原始点云作为输入，通过为每个点播种新的球形anchor来生成准确的proposal。这个工作可以做到使用较少的时间到达high recall的结果。然后，利用PointsPool将proposals的内部点特征从稀疏表达转化为紧凑表示，从而生成proposals的特征，从而节省了更多的计算时间。（大体思路是voxelnet这一套，改变了anchor的形态和提取方法）
（2）在第二阶段的box预测中，本文实现了一个并行交并（IoU）分支，以提高定位精度，从而进一步提高性能。

贡献

1. 提出了一种基于点的球形anchor点云目标检测方案生成模型（采用的也是PointNet++先进行上下文语义信息提取），它是通用的，以实现高召回率。

2. PointsPool层集成了基于点和体素的方法的优点，结合内点的正则坐标和其对应的语义信息，实现了高效和有效的预测。

3. 作者在预测bb和gt之间采用了一种新型的3D IOU预测方式来减轻压力，有助于分类score和定位之间的对齐，从而带来显著的改进。

4. 在KITTI数据集上的实验结果表明， STD在10 FPS的速度下可以获得良好的性能。

网络结构

本文设计了一个通用的策略来独立地基于每个点播种anchor。然后利用每个锚的内部点的特征来生成proposal，通过这种结构，保留了足够的上下文信息，即使只有少量的proposal，也能实现较好的召回。

如上图所示，STD主要包括特征提取模块、Proposal Generation Moudle、PointsPool模块以及分类回归模块，网络的输入为整幅点云。

针对特征提取模块：论文采用PointNet++网络来对点云特征进行处理，输出Points Score Mask和Points Feature部分。

针对PGM部分： 独立地基于每个点来播种球形anchor，可以认为每一个点以自身为中心，一定半径产生了一个球，这个球就是anchor，球形anchor的数量与预定义的参考框方向的数量不成正比，导致anchor的数量减少约50%。在计算量大大减少的情况下，与传统anchor相比，球形anchor具有更高的召回率。然后再进行场景的语义分割（pointnet++），然后对分割的结果选所谓的“seed”，即结合Points Score Mask，进行NMS得到大约500个球形anchor。紧接着，对每个anchor内部的点使用PointNet，进行Classification是否属于前景从而生成proposal。

针对PointsPool模块：PointsPool层由三个步骤组成，第一步随机为每个proposal选择N个内点，以它们的标准坐标和语义特征作为初始特征。对于每个proposal，通过减去其中心（X；Y；Z）值并将其旋转到proposal预测的方向来获得点规范位置。这些规范化的坐标使模型在几何变换下具有鲁棒性，并且能够意识到内部点的相对位置，从而比仅使用语义特征获得更好的性能。

针对分类回归模块： 主要包括IoU估计和类别位置的预测。IoU分支用来预测box和相应的Ground Truth之间的3D IoU。然后，将每个box的分类分数与其3D IoU相乘作为新的排序标准。该设计消除了定位精度与经典核之间的差异，有效地提高了系统的性能。后期对分类回归的box进行NMS处理，完成最终的检测。

实验结果

本文的实验数据共有7481幅训练图像/点云和7518幅测试图像/点云，分为汽车、行人和自行车三类。使用平均精度（AP）度量来比较不同的方法。在评估过程中，遵循官方的KITTI评估协议。也就是说，针对汽车，IoU阈值为0.7；针对行人和自行车IoU阈值为0.5。