Fast-BEV阅读笔记

Fast-BEV: A Fast and Strong Bird’s-Eye View Perception Baseline

url: https://arxiv.org/abs/2301.12511

project: https://github.com/Sense-GVT/Fast-BEV

 fast-bev商汤的作品。近年来，BEV感知吸引了越来越多的关注，从工业界特斯拉、一系列国产新能源汽车，到学术界众多BEV感知模型。其中不乏有很多优秀的作品，但是其考量都在如何增强模型的表现和性能。并未考虑基于transformer等模型在落地时，车载芯片的算力不足于支撑其复杂的推理过程。Fast-BEV以此为突破口进行了深入的研究。

Methods

Rethink BEV Perception 2D-to-3D Projection

）首先，分析了自顶向下的BEV特征建模方法（利用注意力机制，从图像中得到3D BEV特征）的缺陷。由于transformer需要大量的算力资源进行推理，所以不好部署。

B）其次，分析了以LSS为代表的基于深度估计的方法的缺陷（通过将图像特征和预测的深度做外积，从而得到3D BEV特征）。还是一样，部署不友好。“but the computational speed bottlenecks will be encountered at larger resolutions and feature dimensions, and it is not very friendly to transfer to non-GPU platforms without inference libraries support.”

C）然后提出了自家的方法，从两个方面加速了infer。

        1. Fast-Ray transformation method，基于射线投影，通过查找表和多视图到单体素操作的快速射线转换方法。（加速infer）

        2. scalar index，使得移植到其他平台变得容易。

ps: 这部分讲的很没意思（拉踩，顺势提出自己的东西）

Overview of Fast-BEV

• Fast-Ray Transformation：作者认为：从image space投影到voxel space是造成延时的主要原因。
• mutli-Scale Image Encoder：受到fpn，focal loss启发。（不是多尺度也能拿出来讲？）
• Efficient BEV Encoder：发现，更多的block和更大的resolution并不会带来更好的效果，反而增加训练时间。具体要看sec3.5
• Data Augmentation：参照 BEVDet，BEVDepth的数据增强策略。
• Temporal Fusion：参照BEVFormer和BEVDet4Dd引入时间信息增强bev特征的表现。

Fast-Ray Transformation

basic view transformation：假设沿着相机射线的深度分布是均匀的。那么基于此，通过相机内外参数，就可以很容易的计算图像特征map与BEV特征图之间的对应矩阵。并且此过程不存在可学习的参数。由此作者提出：precompute projection index（Look-Up-Table), dense voxel feature generation (Multi-View to One-Voxel)。

Look-Up-Table

Multi-View to One-Voxel

Mutli-Scale Image Encoder

4个stage的FPN最终输出3中尺度

F1/4 F/8 F/16

Efficient BEV Encoder

Data Augmentation

主要参照BEVDet模型数据增强方法。从image space 和 BEV space进行数据增强。

image augmentation，BEV augmentation。

代码上面使用的是mmdet3d，所以这部分是完全的引用。

Temporal Fusion

通过空间对齐操作和级联操作，将history bev 和 当前bev特征相融合。

Detection Head

检测头用的是PointPillars的。