BEVDET论文与代码解读

目录

一、前言

二、BEV

三、BEVDET

 四、贡献点

五、总结

---

一、前言

  虽然自己主要精力在做单目3D检测，但基于多摄融合BEV视角的3D检测也是热度比较高的方向，因此学习补充这方面的知识很有必要，自己也将对论文和代码的一些理解也分享出来。

二、BEV

    随着车载传感器类型和数量的不断增多，研究者们期望找到一个统一的表征空间，将多传感器感知统一表达，较为常用的方法是感知后融合方式，这类后融合方式方法较为复杂，且很多融合都需要先验知识和手工设计，鲁棒性不高。2021年的特斯拉AI Day提出了基于BEV的自动驾驶方案，之后国内各大车企也开始探索这一方向。

三、BEVDET

        BEVDET也是比较早提出的论文，该论文较为工程化，没有花里胡哨的东西，主要是结合一些现有的方法，实现了在BEV视角的3D检测。

        从上图中可以看到作者将其划分为Image View Space 和 BEV Space，分别表示透视视角空间和鸟瞰图视角空间。

        Image View Space：在透视视角空间，主要做的是对多摄图像的特征提取，这里的backbone可以选择resnet、swin-transformer等等，然后经过FPN_LSS进行简单的层级特征融合，输出16倍下采样的特征图。