点云目标检测

• 采集
  $360^0$的数据为一帧，最多包涵32*(360/0.2)=57600.
  水平32条线，转动角分辨率0.2。
  但是由于天空等无法获得点云，实际得到约40000个点。
• VoxelNet：
  两个过程：Voxel Feature Extraction 提取特征。第二个是目标检测过程。
  两个问题：三维卷积复杂度高，voxedl数量大会引入错误。
• PointNet++
  尝试通过聚类建立点与点的拓扑，在聚类中心学习特征。问题：点云中很难根据一个点确定物体的中心。
• 鸟瞰图
  把不同高度点云的特征信息转换为鸟瞰图的不同通道，应用2维卷积进行快速特征提取。
• 图像与点云融合
  对于鸟瞰图中每个位置首先在三维空间寻找临近的点，然后把将这些点根据激光雷达和摄像机标定信息投影到图片特征图上，最后将对应的图片特征和点的三维信息融合到鸟瞰图对应的位置中。
• 问题
  鸟瞰图精度高但速度慢，Complexer-YOLO,PIXOR,PIXOR++单阶段网络速度快但是精度低。
• 解决方法
  网络输入时不使用反射强度信息，直接对点云体素化建立鸟瞰图。特征提取阶段，通过多次使用pooling和餐叉网络结构获取不同尺度上的特征图，并对不同尺度上的特征图使用卷机和上采样进行特征融合，输出最终特征图。
  网络结构为：
  体素化(0.10.10.2)变为51257618然后经过两层的卷积 C=64,128,192,然后经过池化层+残差n，往后继续池化+残差n，然后把第二次池化后的特征进行上采样，与第一次的特征图拼接再卷积、上采样，得到输出。
  不使用雷达反射强度反而精度有明显提升。
• RCNN（Region-convolutional neural network）
  将目标检测任务转换为区域上的分类任务，提出了双阶段的检测思路。
• Fast R-CNN
  1、卷积不再是对每个region proposal进行，而是直接对整张图像，这样减少了很多重复计算。原来RCNN是对每个region proposal分别做卷积，因为一张图像中有2000左右的region proposal，肯定相互之间的重叠率很高，因此产生重复计算。2、用ROI pooling进行特征的尺寸变换，因为全连接层的输入要求尺寸大小一样，因此不能直接把region proposal作为输入。3、将regressor放进网络一起训练，每个类别对应一个regressor，同时用softmax代替原来的SVM分类器。
• YOLO
  把牧鞭检测作为回归问题，不使用区域提议网络，在主干网络后直接回归目标之心度得分和边界框，提高了速度。
  YOLO就是对图像分块，然后对每个分块进行多种类的回归。
• RetinaNet
  提出同focal loss取代交叉熵分类损失函数。这个函数可以通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。
• MV3D
  使用了相机单目图像、雷达点云构建的正视图和鸟瞰图作为输入，首先使用鸟瞰图下的三维区域提议网络提取3维后选矿，然后再投影到三种输入视图中，最后通过深度融合的方法来融合多试图的信息。
  对整体点云按高度分片，构建多层通道，并附加2层通道来表示鸟瞰图每个像素中包含的点云密度和反射强度。
• AVOD网络
  在MV3D的基础上使用单目图像和鸟瞰图作为输入，融合2