【论文笔记】Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion Forecasting

文献来源

Luo W , Yang B , Urtasun R . Fast and Furious: Real Time End-to-End 3D Detection, Tracking and Motion Forecasting with a Single Convolutional Net[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2018.

一、什么是FaF？

结合了3D检测、跟踪和运动预测的算法。

二、为什么提出FaF？

自动驾驶领域的问题可以分为四步：检测、跟踪、运动预测和运动规划。但很多算法处理这四步时，使用四个独立的模块，以致于每个模块的不确定性无法传递，下游环节无法纠正上游环节的错误。

三、怎么实现FaF？

算法流程图：

算法结构：

1.数据参数化

首先，对3D点云数据进行体素化，形成体素网格，然后为每个体素分配一个二进制指标，来表示这个体素是否被占用（如果体素内至少存在1个点，就意味着它被占用了）。
接下来要对体素进行卷积操作，但不直接进行3D卷积，因为点云很稀疏，有些体素是空的，如果直接进行3D卷积就会浪费大量的计算资源。因此本算法在平面上做2D卷积，把高度信息当作另一个通道的信息。

上图展现了如何从点云中构造3D张量的，这里直接把高度信息作为一个输入特征，保存在另一个通道里。
接下来，为了进行运动预测