F-PointNet: 以二维图像驱动三维点云中的物体检测

f-pointnets基于RGB图像+深度信息使用pointnet和pointnet++的结构做了目标检测。
使用到2D RGB图像的原因是当时基于纯3D点云数据的3D目标检测对小目标检测效果不佳，所以f-pointnets先基于2D RGB做2D的目标检测来定位目标，再基于2d目标检测结果用其对应的点云数据视锥进行bbox回归的方法来实现3D目标检测。使用纯3D的点云数据，计算量也会特别大，效率也是这个方法的优点之一。
使用成熟的2D CNN目标检测器（Mask RCNN）生成2D检测框，并输出one-hot 分类向量（即基于2D RGB图像的分类）。
frustum proposal generation视锥框生成： 2D检测框结合深度信息，找到最近和最远的包含检测框的平面来定义3D视锥区域frustum proposal。然后在该frustum proposal里收集所有的3D点来组成视锥点云（frustum point cloud）。由于视锥的方向会对其包含的点云数据影响很大，所以需要标准化视锥的方向，论文的做法是对视锥的坐标系进行旋转，直到视锥的中轴线和image plane垂直。这个视锥的标准化可以提升算法对旋转变化的性能。视锥坐标系变换的代码见provider.py，过程见下图。provider是一个数据生成器，除了坐标系的变换，也包括3D视锥点云的生成。
这么做的好处在于：（1）舍弃了global fusion，提高了检测效率；并且通过2D detector和3D Instance Segmentation PointNet对3D proposal实现了逐维(2D-3D)的精准定位，大大缩短了对点云的搜索时间。
（2）相比于在BEV(Bird’s Eye view)中进行3D detection，F-PointNet直接处理raw point cloud，没有任何维度的信息损失，使用PointNet能够学习更全面的空间几何信息，特别是在小物体的检测上有很好的表现。
（3）利用成熟的2D detector对proposal进行分类（one-hot class vector，打标签），起到了一定的指导作用，能够大大降低PointNet对三维空间物体的学习难度。