【2D/3D目标检测】STD: Sparse-to-Dense 3D Object Detector for Point Cloud阅读笔记（2019）

1、为什么要做这个研究（理论走向和目前缺陷） ?
主要是为了减少计算量和节约计算时间而设计。
2、他们怎么做这个研究 （方法，尤其是与之前不同之处） ?
每个3D点上的anchor设置成球形，避免了朝向的预定义，也就避免了每个点要设置多个anchor。根据每个3D点预测的得分做NMS得到候选的球形候选区（iou计算是根据交集点数/并集点数），然后对球形候选区的点特征输入到pointnet中预测一个长方体形候选区，然后对长方体形的点随机选一部分做体素化，然后VFE层提取特征，得到密集的体素特征，然后输入到全连接层预测分类得分和iou得分（相乘）以及边界框回归，后处理
3、发现了什么（总结结果，补充和理论的关系）?
感觉是个3阶段网络，第一阶段用于找到球形候选区，然后基于nms后球形候选区的点找到长方体形候选区，再基于nms后长方体形候选区里的点做体素化后提取特征进一步精细化得到精细化的3D框，再经nms得到最后的3D框。

摘要：提出一个两阶段3D目标检测器。第一阶段通过在每个3D点上设置球形anchor来生成候选区（可以提高召回率），应用pointpool方法把候选区的稀疏点特征转化为密集特征作为候选区特征（可以节约计算时间）。第二阶段用了一个iou分支增加定位准确度。

1、引言
本文主要创新点：1）提出基于每个3D点作为中心点的球形anchor,可以提高召回率。2）提出PointsPool兼具基于点的方法（pointnet based，eg:F-poingnet）和基于体素的方法的优势。3）第二阶段加了一个iou分支有利于对齐分类和定位结果，提高定位准确度。

2、相关研究
3D 语义分割：
3D目标检测：3类，基于多视角的、基于体素的、基于点的。

3、本文方法
网络结构：

球形anchor：用球形anchor就不用预设anchor的方向了，使得实际的anchor数比有朝向的那种长方体形的anchor少很多，减少了计算量。此外不同的类别的anchor半径不同，车3m，人1m。
此外，每个点还要预测的中心点置信度，iou的计算是在鸟瞰图下计算的，然后经过nms去重，得到大概500个球形anchor。
然后将球形anchor里的每个点的坐标根据中心点进行归一化，连接上预测的每个点的中心点置信度得分，以及每个点的特征，输入到pointNet中预测此anchor的分类得分，中心点位置偏移，相对预定义的3D框的长宽高偏移以及朝向。朝向预测时采用的类似F-pointnet的基于bin的朝向预测。这样基于前面的anchor(大约500个）得到的3D长方体候选框再经过NMS得到大约300个候选框。
训练时的正负例anchor的确定无法再根据以前的iou来确定了，因为anchor是球形的，而gt框是长方体形的，而采用anchor球和gt框的点交集与并集的比来作为此iou值，命名为PointsIoU。

3.2 候选区特征生成
PointsPool Layer：按理说得到3D候选区之后，可以利用pointnet++来对其中的3D点特征进行处理输出最终的回归结果，但是这样太耗时了。于是，本文作者提出相对3D候选框随机选取35个点，然后基于预测3D框的朝向进行坐标标准化，然后对这个3D候选框内的点进行体素化（size:6x6x6），然后对每个体素内的点特征进行VFE（即pointnet）提取特征，得到最终的密集的3D候选区特征。这个由稀疏的点特征到密集的体素特征的转化即为PointsPool，这样做相对用pointnet++直接预测最终结果更加节约时间。

3.3 3D框最终回归
包含两个分支：
1）3D框的分类和回归（记为一个分支），两个全连接层（分类回归共用）+两个全连接层（分类回归各自的）
2）IOU预测分支：预测一个IoU得分和预测的分类得分相乘得到最终的得分。

损失函数：略

4 实验
kitti test数据集：

消融实验结果：
诸多方法都证明了加上3D点的分割标签预测的3D框会更准