VIPS: real-time perception fusion for infrastructure-assisted autonomousdriving 总结

文中实验成果，VIPS可以提升车辆的感知范围140%，平均耗时在58ms内（端到端的系统中延时在70ms内），平均感知融合误差0.6m，达到state-of-art baselines的前25%。设施每帧传输数据1.2kb。 

整体思路：

- 首先，VIPS分别检测车辆收集的雷达点云数据和基础设施上收集的雷达点云数数据，识别物体，并检测物体运动速度，这里已经对车辆和基础设施做过了时间同步。

- VIPS构建两个multi-affinity graph，使用高效的graph匹配算法把两个感知中共视的部分进行匹配，把所有物体合并到车辆视角中。

该方法可用于事故预警、路径规划、车辆定位。

通常与设施点云交互的方法为，首先把车辆采集点云和设施采集点云进行合并对其，然后再进行识别。VIPS相对这类方法的优势是：

1） VIPS高效使用了基础设施中的计算处理单元，仅把最后的识别结果广播到经过的车辆。

2） VIPS可以更有效的使用空间、语义识别物体，不需要依赖车辆的高精度位置结果。

3） VIPS结合了物体连续运动的特性，减少了车辆和设施的计算量。

4)  传输的数据量急剧减少，不需传输原始点云。

启发：

1. 匹配可以参考graph的思路。

2. 使用CARLA进行仿真，可以生成激光点云、IMU等各种传感器数据，并且配有多种场景地图。

4 系统设计

4.1 overview 

 VIPS融合车辆、设施上的感知结果步骤：

1. VIPS分别检测车辆、设施中的点云，识别3D物体，并计算物体的位置、方向、标签。同时使用多物体跟踪（MOT）算法解决由于帧率不稳定、包丢失造成的丢帧问题。
2. VIPS基于设施中检测出的物体运动速度修正丢帧问题。
3. VIPS根据物体信息（比如位置、类别）建立multi-affinity graphs。用一个高效的图匹配方法识别匹配对中的共视物体。
4. 基于物体对，物体配准模块估计位移，并把物体融合到车辆视角下。

4.2 3D物体检测与跟踪

3D物体检测基于Pointpillars，检测信息包括：类别（车辆、行人）、中心位置、物体bounding box、方向角、置信度。轻量级3D MOT算法是用kalman滤波和匈牙利方法进行跟踪，达到低延迟。使用上帧检测信息预测轨迹，并于当前帧检测结果进行匹配。使用匈牙利算法进行高效匹配。匹配后，再用检测结果对kalman滤波器进行量测更新。

 4.3 运动修正

解决时间对齐问题和丢帧问题。用4.2 kalman估计的速度对位置进行修正，匈牙利算法进行匹配。

4.4 共视物体匹配

生成graph，graph中包含nodes、edges、attributes。

参考文献：

1. Marius Leordeanu and Martial Hebert. 2005. A spectral technique for correspon- dence problems using pairwise constraints. (2005).

2. Feng Zhou and Fernando De la Torre. 2012. Factorized graph matching. In 2012 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 127–134.

把匹配转化成了“构建矩阵M，求解最优的vector w”。此处没太看懂，需要研究上面的参考文献。

 文中提到进行匹配的原因是GPS一般有几米的误差，直接使用经纬度进行匹配存在误差，所以使用这种方式进行匹配。

CARLA 仿真器

文中提到了一个仿真器  CARLA: An open urban driving simulator，可以生成road map、交通流、传感器数据、车辆速度等。