BEVFormer 论文笔记

参考代码：BEVFormer
paper：BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers

1. 概述

导读：这篇文章介绍了一种基于transformer的bev特征提取算法，在该算法中包含了对空间域和时间域信息的融合，对应的模块便是spatial cross-attention和temporal self-attention，这样便可以高效感知车辆周围环境以及利用前后帧信息处理遮挡情况。通过建立3d bev grid在spatial和temporal维度的信息索引，文章构建了一种适合多任务的bev特征提取方法。

在文章的bev特征提取方案中需要解决的是bev grid（3D）在多视图图像中的空间索引，以及当前帧bev特征与之前帧中bev特征的关联，也就是下图中展示的spatial和temporal维度信息如何去索引：

对于spatial维度上的特征索引，可以通过3D bev grid中的点从3D到2D的投影获得reference points，之后在reference points的基础上添加具有偏移属性deformable attention操作去感知local区域的特征。对于temporal维度上的索引，可以通过类似RNN的机制实现序列关联。

2. 方法设计

2.1 整体pipeline

文章的整体pipeline见下图所示：

根据上图文章的方法可以划分为如下几个步骤：

• 1）通过CNN网络抽取多视图特征，更大的backbone带来更好的性能；
• 2）通过堆叠多层的temporal self-attention和spatial cross-attention（transformer layer）实现3d bev grid的特征索引构建对应bev特征；
• 3）在上述得到的bev特征的基础上添加多任务头，实现多任务预测；

2.2 spatial cross-attention

在进行spatial cross-attention之前需要计算预先定义好的3d bev特征在输入多视图特征的位置，这些位置被称之为reference points。其计算是根据3d空间到2d空间的投影实现的，具体的映射过程可以参考：

# projects/mmdet3d_plugin/bevformer/modules/encoder.py#L90
def point_sampling(self, reference_points, pc_range,  img_metas):
    ...

在上述的代码中除了计算每个3d bev grid到多视图特征的投影，还会通过这些投影操作（记为$\mathcal{P}(p,i,j)$）预先计算出可能投影到的位置（文章将这些通过相机参数匹配上的点称之为${\mathcal{V}}_{hit}$，其可能在多个视图上），从而得到一个掩膜mask，该mask就可以在多视图特征中排除一些无关的区域，从而加快运算速度。那么对于当前3d bev grid的索引$Q_p$其在多视图特征下的计算可以描述为：
$$SCA$$