m0_51657509的博客

单帧数据包含有限信息，限制了基于视觉的多相机3D目标检测性能。BEVDet4D提出：提出BEVDet4D范式，将BEVDet从仅空间的3D扩展到时空4D工作空间。改进：通过融合前后帧特征，以极小的计算成本获取时间线索，将速度预测任务简化为位置偏移预测。性能：在nuScenes基准测试中，BEVDet4D-Base配置以54.5%的NDS刷新记录，超越BEVDet-Base 7.3%。

本文提出了一种新的端到端架构，能够直接从任意数量的摄像机图像中提取鸟瞰视图（BEV）场景表示。核心思想是将每个图像**"Lift"到每个摄像机的特征视锥体中，然后将所有视锥体“Splat”到一个BEV视图网格中。通过在完整的摄像机阵列上训练，模型能够学习如何表示图像以及如何将所有摄像机的预测融合成一个连贯的场景表示**，同时对校准误差具有鲁棒性。在标准的鸟瞰视图任务，如物体分割和地图分割上，该模型超越了所有基线和先前的工作。

阅读论文，想要复现BEVDet的Tiny版本，在原作者的Github最新branch分支中，./configs/bevdet下已经没有tiny的py文件了。将mini dataset下载后的v1.0-mini.tgz解压出来可得到名为v1.0-mini的文件夹，改名为nuscenes，并移动到项目根目录下的。如果数据集不在data文件夹下，需要替换–root-path为相应文件路径，并且在后续训练测试时需要修改config文件。中没有vis.py文件，所以从别的分支中下载vis.py文件并移动至。

进入nuscenes官网注册账号登陆后https://www.nuscenes.org/nuscenes#download下载mini数据集。查找相关解答，‘Config’在mmcv2.0.0以后移动到了mmengine中，需要修改代码，改变思路，重新进行安装。Map expansion下载解压后将文件移动到mini dataset解压出来的Map文件夹中；将mini dataset下载后的v1.0-mini.tgz解压，并改名为nuscenes；在项目根目录下的vis文件夹中。生成项目对应格式的数据集。

论文提出的方法称为Forward-Backward View Transformation（FB-BEV），是一种结合了前向和反向投影的方法，以解决现有的BEV视觉识别方法的局限性(BEV 特征稀疏或由于投影不准确而导致假阳性特征)。本文提出一种前后投影模式，解决当下投影方法的种种不足——通过解决前向投影生成的稀疏特征，以及在反向投影中引入深度信息，构建了一个更加准确的投影关系。通过这种方法，FB-BEV可以同时利用前向和反向投影的优点，生成高质量的BEV特征。生成一个稀疏的BEV特征，然后使用。

​ 提出CenterPoint框架，用于从激光雷达点云中进行3D目标检测和跟踪任务。​ CenterPoint将目标表示为点，从而简化检测和跟踪过程：​ 在backbone构建输入点云的表示并flatten以后，首先使用关键点检测器（keypoint detector）检测对象的中心，并回归到其他属性，包括3D大小、3D方向和速度。在第二阶段使用对象上的其他点特征来细化这些估计。该方法使用标准3D点云编码器和几个卷积层来生成BEV的hotmap和其他密集回归输出。

DeepLearning深度学习项目，利用CNN和MobileNetV2搭建的水果识别模型。