(BEV论文精读) ICRA‘23:BEVFusion

Introduction

由于激光雷达可以提供精确的空间信息，而雷达可以提供速度信息，一般来说将雷达信息投影到图片中会引起几何信息损失，影响3d检测任务。同时相机到LiDAR的投影在语义上是有损失的。对于典型的32光束LiDAR扫描仪，只有5%的相机特征将与LiDAR点匹配，而所有其他特征将被丢弃。对于稀疏的LiDAR（或成像雷达），这种密度差异将变得更加剧烈。基于这些问题，本文提出了一种基于BEVFusion的未知任务的学习方法。该方法将多模态特征统一到共享的鸟瞰图（BEV）表示空间中。

关于多传感器融合主要有两类方法：proposal-level和point-level融合方法

详情作者将会在后续文章介绍。

Method

给定两个传感器的输入，使用modality-specific encoders提取特征，将其转换为统一的BEV特征空间，其中富含纹理细节信息和语义信息。通过预计算和间隔减少来加速BEV池化操作，然后应用BEV Encoder来整合BEV特征且降低不同特征之间的误差，最后增加了不同的head用于不同任务。

3.1 Unified Representation

由于相机具有不同的视角，因此相同的特征张量可能会代表不同的空间位置，因此需要找到一个共同的表达方式，它满足所有的张量可以轻松到这一特征空间中，并且使用于不同的任务中。

（1）受RGB-D数据的启发，一种选择是将LiDAR点云投影到相机平面并渲染2.5D稀疏深度。但深度图中两个相邻位置的物体可能在真实空间中具有较远的距离。

（2）使用camera-to-LiDAR会导致语义损失。。。还在挖坑，没有给出真正的解决方案，吊人胃口奥

（3）说明了以上方法的缺点，给出本文能使用的方法：将其转换到BEV空间进行融合。

首先适用于各种任务，将相机和雷达向BEV中转换没有任何信息损失。

3.2 Efficient Camera-to-BEV Transformation

（1）首先预测每个像素的离散深度分布概率

（2）然后，将每个特征像素沿摄像机射线沿着分散成D个离散点，并通过其相应的深度概率重新缩放相关特征

（3）这将生成大小为NHWD的摄像机特征点云，其中N是摄像机的数量，（H，W）是摄像机特征地图大小。

（4）这样的3D特征点云沿着x、y轴以步长r（例如，0.4米）的高度。我们使用BEV池操作来聚合每个r × r BEV网格内的所有特征，并沿着z轴展平特征。

由于池化操作需要极大的计算量，文章提出了一种新的池化方式：

Precomputation.
（1）将相机特征点云中的每个点与Bev相关联

（2）相机内外参是是固定的，因此相机特征点云的坐标是固定的，所以将3D坐标和BEV中的点联系起来。

（3）将BEV中的点排序并进行记录，在推理时，只需要在预先计算的排列中去记录所有特征点。

Interval Reduction

（1）在上述步骤中我们的到了一个连续张量，他的位置索引代表了BEV空间中的对应位置。

（2）利用简单的计算对特征进行融合，为了加速这一过程，使用GPU并行计算并得到结果实现了加速，并且由于独立计算消除了各个线程之间的依赖性

3.3 Fully-Convolutional Fusion

将所有感官特征转换为共享BEV表示后，我们可以轻松地使用元素级运算符（例如连接）将它们融合在一起。虽然在相同的空间中，但由于视图转换中的不准确深度导致LiDAR BEV特征和相机BEV特征在一定程度上仍然可能在空间上未对准。为此，我们应用convolution-based BEV encoder来补偿这种局部未对准

3.4 Multi-Task Heads

我们将多个特定于任务的头部应用于融合的BEV特征图。我们的方法适用于大多数3D感知任务。我们展示了两个例子：3D对象检测和BEV地图分割。

Training.：无须冻结相机的encoder，直接训练整个模型