最全攻略：人工智能如何看懂激光雷达点云

SqueezeSeg

Network structure of SqueezeSeg

SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation from 3D LiDAR Point Cloud​arxiv.org

• 简介：将激光点云沿圆柱面投影展开为深度图转化为2D图像处理。逐个像素人工构造特征（x,y,z,intensity,distance)，使用2D FCN做语义分割。
• 优点：不需要做栅格化预处理，实时性高。
• 缺点：受限于雷达纵向分辨率，信息被压缩。维度压缩后存在尺度问题，遮挡问题。

PIXOR

Overview of the proposed 3D object detector from Bird’s Eye View (BEV) of LIDAR point cloud.

http://openaccess.thecvf.com/content_cvpr_2018/papers/Yang_PIXOR_Real-Time_3D_CVPR_2018_paper.pdf​openaccess.thecvf.com

 

简介：基于BEV（鸟瞰图 Bird Eye View），转为2D鸟瞰图片。将高度值作为future channel，通过二值化占空比来表示，外加一层intensity channel。

优点：相比SqueezeSeg没有尺度问题和遮挡问题。Anchor free, 2D FCN, end-to-end,灵活性和扩展性较好。实时性和综合性能均不错。

缺点：需要2D栅格化和slice预处理，会损失信息引入quantization artifacts（量化噪声）。因此存在遮挡问题，在路面不平整或有不同高度层物体重叠的情况下效果较差。

---

MV3D

Multi-View 3D object detection network (MV3D)

Multi-View 3D Object Detection Network for Autonomous Driving​arxiv.org

 

简介：多视角多传感器融合，MV3D网络采用LIDAR点云生成的鸟瞰图和前视图以及摄像头图像作为输入。 首先从鸟瞰图生成3D对象提案并投影到三个视图上。 然后使用深度融合网络通过ROI池组合获得的每个视图的区域特征。特征融合后被联合用于预测对象类并进行定向3D框复原。

优点：利用多种传感器信息融合，提升表征能力

缺点：对多传感器标定要求较高，硬件结构复杂，需要2D栅格化和slice预处理，会损失信息，实时性差。

3D FCN

A sample illustration of the 3D FCN structure used in this paper.

3D Fully Convolutional Network for Vehicle Detection in Point Cloud​arxiv.org

 

简介：将2D FCN扩展到3D，每个栅格内使用二值化占空比构造人工特征。

优点：共享基础体征提取网络，多任务输出，Anchor free。

缺点：需要栅格化处理，会损失信息，计算量大，实时性不佳

---

PointNet

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation​arxiv.org

 

简介：尊重输入点中的置换不变性，使用max pooling。共享MLP网络结构，可以适应不同点数的输入。

优点：无需预处理，直接输入点云，可以灵活扩展数据维度。对点云密度变化不敏感。

缺点：需要将一整个点云聚类分割成单个对象集合，并逐个调整输入模型的点云点数量，计算量大，实时性差。

---

VoxelNet

VoxelNet architecture

VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection​arxiv.org

 

简介：苹果无人车团队的论文。将点云划分为等间隔的三维像素（栅格化），并通过新引入的立体像素特征编码（VFE）层将每个立体像素内的一组点转换为统一的特征表示。 这样，点云被编码为描述性的体积表示，然后连接到RPN以生成检测。

优点：大尺度上构造PRN，小尺度上利用了立体像素特征编码（VFE）层。可以处理整个点云而不需要人工聚类。

缺点：需要栅格化处理，会损失信息，计算量较大。

关于这个算法我的另一个文章写过更详细的解读：MAZE：苹果的无人车激光雷达处理方案

---

Graph CNN

Dynamic Graph CNN for Learning on Point Clouds​arxiv.org

 

Point cloud segmentation using the proposed neural network

简介：基于本地邻域信息，可微分的，并可被插入其他现有算法。

优点：无需预处理。包含本地邻域信息，可被堆叠或循环应用以学习全局形状属性。

缺点：破坏数据并行特性，无法充分硬件加速，实时性差。

---

FaF Network

Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion Forecasting with a Single Convolutional Net | Uber Research​eng.uber.com

 

简介：Uber团队的算法。能够在给定3D传感器捕获的数据的情况下共同推理3D检测，跟踪和运动预测，并保障一定的实时性。

优点：挖掘时序信息，能够补全稀疏数据信息，利用时序信息增强检测准确度。单网络在30 ms内完成检测，跟踪和预测任务。

缺点：需要多种时序数据辅助，传感器硬件复杂度高，计算量较大。

---

总而言之，每种算法各有优势，没有最好的，只有合适的。

其他无人驾驶相关论文可以到MAZE：学习无人驾驶车，你所必须知道的。查看。