自动驾驶多传感器融合感知

传感器类型

• 单目相机、深度相机、双目相机
• LIDAR

LIDAR数据格式

• 点云
  • 特征提取方式：Pointnet
    点云中每个点对应一个feature，使用MLP升维。PointNet 因为是只使用了 MLP 和 max pooling，没有能力捕获局部结构，因此在细节处理和泛化到复杂场景上能力很有限。
• 体素voxel
  • 3D卷积网络
• 2D mapping
  把点云投影回2D平面，直接利用类似图像方法的2D CNN处理，一方面可以沿用2D图像方法的理论，另一方面方便和图像特征融合。
  • 投影到相机平面
    LIDAR分辨率不高，投影到相机平面，图像质量比相机差很多
  • 投影到BEV

融合方法

经典分类

• 前融合（数据融合）
  将相机和lidar的raw data做融合，一般是在空间上将两种数据align
• 特征融合
  在特征层面对两种来源的特征做拼接或相乘
• 后融合
  对两种观测方式的结果做融合，输出最终的检测定位结果
• 非对称融合
• 弱融合
  将一种模态的结果用规则的方式或者半监督、迁移学习等方式，作用到另一种模态上，以另一种模态为主。