2020-10-13 自动驾驶领域点云和图片多模态结合

论文阅读：Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review

 

vision-based 感知系统低开销

4，5

单目摄像头感知系统无法提供可靠的三维几何，而三维几何对于自动驾驶来说很重要

6, 7

多目摄像头提供三维几何，然而高计算开销，struggle in high-occlusion and texture-less environments

8,9,10

camera-based 感知系统struggle with 复杂或者差的光照条件，限制其全天气能力(all-weather capabilities)

11

Topics

• 深度completion

• 动态和静态物体检测

• 语义分割，追踪

• 在线跨sensor校准（online cross-sensor calibration）

  Tip

• 提出了这样几个开放性问题

  • open-set detection

  • sensor-agnostic framework

点云处理的常见方法

基于体素表征：

• 体素表征方法将点云分割为一个固定分辨率的网格，在这个三维网格中，每个网格（grid）/voxel的特征是手工构造的或者是学习到的。

• 这个表征与标准三维卷积兼容

  • 14,15,16

• 17提出了减少过拟合，朝向感知（orientation sensitivity）以及捕获目标内部结构（capture internal structures of objects）

• 缺点：

  • 丢失了空间分辨率&&fine-grained 三维几何

  • 尝试增大其空间分辨率（Spatial resolution, denser voxels）会导致计算和内存占用指数增长(cubically)，making it unscalable

基于索引/树表征

• 缓解在高空间解析度和计算损失的限制，提出使用树形数据结构解析自适应的分割方法，如kd-tree(18,19)，octree(20,21,22)

• 通过将点云切分为一系列不平衡树，可以根据点云密度分割区域，使得有不同点云密度的区域有不同的空间解析度（number of voxels），减少不必要的计算和内存占用

• 进行构建树的同时提取点云特征

基于2D视角的表征

• 通过投影点云到多个二维平面上生成二维视图/多视图

• 可以很方便的扔给标准二维卷积处理

• 通过view-pooling聚合提取的特征

• 优点：

  • 同时解决了排序一致性（投影到不同视平面）和平移一致性（不同视平面上的特征聚合）的问题

• 缺点：

  • 二维视图方法丢失了三维几何信息

  • 很难进行per-point的标签预测

• 祁大大结合了两种表征：体素表征 && 多视角特征聚合

基于图的表征