【BEV感知】Ubuntu 下 BEVFormer 感知算法的配置以及实践

已于 2025-04-14 15:34:57 修改
阅读量1.3k 收藏 19
点赞数 19
分类专栏： 自动驾驶感知 文章标签： ubuntu 算法 自动驾驶 人工智能 深度学习 目标检测
于 2024-11-12 18:17:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57950978/article/details/142650149
版权

文章目录

前言

在这里插入图片描述

BEVFormer 是 BEV感知算法中的一篇经典之作，值得入门BEV感知的伙伴们好好学习

一、BEVFormer

BEVFormer 是 ECCV 2022 的一篇论文
BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers

当然，原作者也提供了中文版的论文：BEVFormer

若网站无法访问，可以直接去我上传的资源里面下载中文版原文

1.1 Motivation

自动驾驶中的视觉感知问题，尤其是对周围环境的全面理解，通常依赖于从多个摄像头获取的信息。传统的自动驾驶系统通过将多个摄像头图像投影到鸟瞰图（BEV）上，来生成一个全局的视角表示。这种表示对于多目标检测和追踪等任务非常有帮助。BEV表示可以将周围环境的物体位置、大小、方向等信息有效地传递给后续的决策模块。

然而，当前的多摄像头系统和基于BEV的感知方法面临以下挑战：

  • 视角差异：每个摄像头的视角和拍摄方向不同，如何将这些信息整合到一个统一的BEV表示中是一个关键问题。
    时空关系的建模：多摄像头系统不仅需要捕捉空间信息，还需要考虑时间序列的动态变化。例如，如何在多个时间步骤内整合这些图像信息，捕捉运动目标的时序特征。
  • 高维度的信息处理：多摄像头图像往往包含大量信息，如何高效地处理这些图像并提取有用的特征是一个挑战。

为了解决这些问题，论文提出了 BEVFormer，通过引入 时空变换器（Spatiotemporal Transformers），能够在空间和时间维度上有效地学习和融合来自多个摄像头的图像信息，从而生成更加准确的BEV表示，帮助进行精确的3D目标检测和追踪。
在这里插入图片描述

1.2 Method

  • Multi-Camera Image Encoding：
    首先，输入的多摄像头图像通过主干网络进行特征提取，得到每个摄像头视角的特征图。这些特征图包含了图像的空间信息，但需要进一步处理以生成一个全局一致的BEV表示。

  • Spatiotemporal Transformer Module：
    BEVFormer使用了一个 时空变换器（Spatiotemporal Transformer） 来学习和建模来自多个摄像头图像的空间和时间依赖关系。这个模块不仅考虑了来自不同摄像头视角的信息，还考虑了时间维度上的依赖（例如，目标的运动轨迹）。
    Transformer模块通过自注意力机制（Self-Attention）将多个摄像头视角和时间步骤的信息聚合到一起，生成全局一致的BEV表示。

  • BEV Representation Generation：
    经过时空变换器的处理后，得到的特征被映射到一个鸟瞰图（BEV）坐标系中，生成最终的BEV表示。这些BEV特征图可以用来进一步进行目标检测、追踪等任务。

  • Post-Processing：
    最后，BEV表示会经过一些后处理步骤，生成最终的预测结果，例如在BEV图上标注物体的边界框和位置。

3. Input & Output

输入：

网络的输入是来自多个摄像头的图像。具体来说，假设有 N 个摄像头，输入为一个包含 N 张图像的序列。每张图像的尺寸可以是 H×W，因此每个摄像头的输入图像是一个 H×W×C 的张量，其中 C 是图像的通道数（如RGB图像为3）。
另外，网络还可能使用 时间序列的图像，即在多个时间步骤中捕捉到的图像，用于建模运动目标的时序特征。

输出：
输出是生成的 鸟瞰图（BEV）表示，通常是一个 H’×W’×C’ 的张量，其中 H’ 和 W’ 是输出的 BEV 图像的空间尺寸，C’ 是 BEV 图像的通道数，通常是物体检测所需的特征维度。
输出还包括 目标检测结果，如物体的 3D 边界框、位置、速度等信息。

那么接下来就开始实战复现吧！！

二、环境配置

由于环境依赖较为复杂，容易出现很多问题，因此记录下来，方便以后查阅，也希望能帮到各位

2.1 创建环境

推荐重新创建一个 conda 环境

conda create -n your_env_name python=3.8 -y
conda activate your_env_name

your_env_name 为你给该环境取的名字

2.2 安装pytorch相关库

  • 如果你是 CUDA 11.1 ，则可以使用文档中的命令安装torch
pip install torch==1.9.1+cu111 torchvision==0.10.1+cu111 torchaudio==0.9.1 -f https://download.pytorch.org/whl/torch_stable.html
  • 但是如果你的环境不是 CUDA 11.1，推荐使用适合cuda版本的torch（当然大多数情况都可以向下兼容）

注：推荐 torch>=1.9，并且python是3.8

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cuxxx

注：上面最后的cuxxx，表示你电脑的版本。如cuda11.6，则替换成cu116
不过需要注意这个方式下载的torch所对应python版本是否适配自身的电脑

  • 如果下载缓慢可以直接进网址选择合适的版本下载： https://download.pytorch.org/whl/

注：推荐找到 torch-xxx+cuxxx-cp3x-linux_x86的这种形式的whl包
一共三个要下载：torch、torchvision、torchaudio
在这里插入图片描述

以下是源码 推荐的配置对应的名字，在上面的网站找到下载
torch-1.9.1+cu111-cp38-cp38-linux_x86_64.whl
torchvision-0.10.1+cu111-cp38-cp38-linux_x86_64.whl
torchaudio-0.9.1-cp38-cp38-manylinux1_x86_64.whl

下载完成后，依次安装即可：

pip install

2.3 安装gcc （可选）

安装gcc到conda环境里面

conda install -c omgarcia gcc-6

2.4 安装mmcv-full

安装mmcv-full
这里推荐不要随意更换 mmcv-full 的版本，否则可能后续有很多坑…

pip install mmcv-full==1.4.0 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html

注意！！这里推荐后面加上 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html
并且！！后面改成自己的torch对应的版本以及torch所对应的cuda版本！！！

如上面 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.9.0/index.html
则是安装适配 torch1.9.0+cu111 版本的mmcv-full==1.4.0

注：期间会下载很多其他的库，如果遇到下载缓慢的包可以手动下载
手动下载pip换源下载可以参考 【pip 安装】国内 pip 镜像源换源方法以及 pip 基本操作

经典报错：fatal error: THC/THC.h: No such file or directory

报错信息：
./mmcv/ops/csrc/pytorch/cuda/psamask_cuda.cu:5:10: fatal error: THC/THC.h: No such file or directory
5 | #include <THC/THC.h>
| ^~~~~~~~~~~
compilation terminated.
error: command ‘/usr/local/cuda-11.6/bin/nvcc’ failed with exit code 1
[end of output]

报错原因：THC方法目前在最新版本的 Pytorch 中已被弃用，并被 ATen API 取代，因此在高版本的Pytorch（版本在1.11.0及以上）编译安装的时候就会遇到无法找到THC/THC.h的报错。

解决方案：降低 pytorch 的版本

输出以下信息即安装成功
在这里插入图片描述

2.5 安装mmdet 以及 mmseg

pip install mmdet==2.14.0
pip install mmsegmentation==0.14.1

2.6 源码安装mmdet3d

克隆仓库并切换到推荐分支

git clone https://github.com/open-mmlab/mmdetection3d.git
cd mmdetection3d
git checkout v0.17.1

注：这里还是推荐使用 v0.17.1 这个分支，其他的分支可能出现不兼容的情况

安装
安装的过程可能比较久，需要耐心等待…

python setup.py install

以下几个库可能比较难下载，必要时可以单独下载
opencv-python
scikit-image
tensorboard
networkx
matplotlib

2.7 安装相关库

安装相关依赖

pip install einops fvcore seaborn iopath==0.1.9 timm==0.6.13  typing-extensions==4.5.0 pylint ipython==8.12  numpy==1.19.5 matplotlib==3.5.2 numba==0.48.0 pandas==1.4.4 scikit-image==0.19.3 setuptools==59.5.0

安装detectron2

python -m pip install 'git+https://github.com/facebookresearch/detectron2.git'

如果是 “正常上网”，上面的仓库无法安装，可以使用下面这种方法安装，参考 detectron2 Installation

git clone https://github.com/facebookresearch/detectron2.git
python -m pip install -e detectron2

至此，就终于配置完 BEVFormer 的相关环境了！！

三、实战

3.1 下载权重

创建放权重的文件夹

mkdir ckpts

推荐直接进入该网址 https://github.com/zhiqi-li/storage/releases/download/v1.0/r101_dcn_fcos3d_pretrain.pth 进行下载
下载完成后放到 ckpts 这个文件夹里面

3.2 准备数据集

按照下面这个文件层级准备：

bevformer
├── projects/
├── tools/
├── configs/
├── ckpts/
│ ├── r101_dcn_fcos3d_pretrain.pth
├── data/
│ ├── can_bus/
│ ├── nuscenes/
│ │ ├── maps/
│ │ ├── samples/
│ │ ├── sweeps/
│ │ ├── v1.0-test/
| | ├── v1.0-trainval/
| | ├── nuscenes_infos_temporal_train.pkl
| | ├── nuscenes_infos_temporal_val.pkl

然后下载 can_bus文件
在这里插入图片描述
将其解压，并放到对应的文件夹中

unzip can_bus.zip

生成数据pkl文件

# 对于nuscenes full data
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0 --canbus ./data

当然使用mini数据集也可以

# 对于nuscenes mini data
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0-mini --canbus ./data

3.3 运行测试

下载权重：
自行选择模型的大小，然后点击下载
在这里插入图片描述
运行测试：

./tools/dist_test.sh ./projects/configs/bevformer/bevformer_base.py ./ckpts/bevformer_r101_dcn_24ep.pth 8
  • 参数1：模型配置文件config的路径
  • 参数2：权重的路径
  • 参数3：GPU数量

3.4 启动可视化

可能报错：libgobject动态库导入报错
报错信息：ImportError: /lib/x86_64-linux-gnu/libgobject-2.0.so.0: undefined symbol: ffi_type_uint32, version LIBFFI_BASE_7.0

解决方案：让这个项目能找到这个动态库

先检测是否有这个动态库

ldconfig -p | grep libffi
ldconfig -p | grep libgobject

若没有则安装

sudo apt upgrade libglib2.0-0
sudo apt upgrade libffi7

export LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libffi.so.7

可能报错：找不到 tools 这个库
报错信息：ModuleNotFoundError: No module named ‘tools’

但是实际上是有的，只是python找不到

解决方案：导入python路径

在当前项目文件夹中，输入下面命令：

export PYTHONPATH=./

可能报错：
报错信息：ImportError: cannot import name ‘cached_property’ from ‘functools’
这可能是由于python版本低于3.8 导致
如果需要重装python版本，推荐将前面的依赖和环境都重装一遍，不然后续容易出现不兼容的情况

解决方案：重装环境

3.5 训练

训练的命令：

./tools/dist_train.sh ./projects/configs/bevformer/bevformer_base.py 8
  • 参数1：配置文件的路径
  • 参数2：GPU数量

可能的报错：
Traceback (most recent call last):
File “./tools/train.py”, line 263, in
main()
File “./tools/train.py”, line 180, in main
cfg.dump(osp.join(cfg.work_dir, osp.basename(args.config)))
File “ib/python3.8/site-packages/mmcv/utils/config.py”, line 541, in dump
f.write(self.pretty_text)
File “lib/python3.8/site-packages/mmcv/utils/config.py”, line 496, in pretty_text
text, _ = FormatCode(text, style_config=yapf_style, verify=True)
TypeError: FormatCode() got an unexpected keyword argument ‘verify’
ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 0 (pid: 11997) of binary: bin/python
原因：由于 yapf 版本不兼容导致的。FormatCode 函数中的 verify 参数在新版本中可能已经被移除或改变了。

解决方案：降低 yapf 版本

pip install yapf==0.31.0

四、总结

首先简单讲解了BEVFormer的原理的结构，其次主要记录了BEVFormer代码完整的全流程环境配置以及实战其中容易出现的问题，后续有其他更好的想法以及补充也会更新上来

bevformer详解(2): 环境搭建
@bangbang的博客
05-13 661
解压下载的数据，并将。
【BEV感知】BEVFormer 融合多视角图形的空间特征和时序特征 ECCV 2022
黎国溥
12-17 5934
本文分享BEV感知方案中，具有代表性的方法：BEVFormer。基本思想：使用可学习的查询Queries表示BEV特征查找图像中的空间特征和先前BEV地图中的时间特征。它基于Deformable Attention实现了一种融合多视角相机空间特征和时序特征的端到端框架，适用于多种自动驾驶感知任务。主要由3个关键模块组成：BEV Queries Q：用于查询得到BEV特征图Spatial Cross-Attention：用于融合多视角空间特征。
BEVFormer 开源算法逐行解析（一）：Encoder 部分
地平线开发者
08-28 2189
从上述config文件可以看出，6个相机输出的图像在前向传播过程中依次经过了’ResNet’、‘FPN’获得了图像特征，然后经过’BEVFormerHead’模块中的’BEVFormerEncoder’和’DetectionTransformerDecoder’完成了特征融合的全过程。其中’BEVFormerEncoder’包括前后级联的’TemporalSelfAttention’和’SpatialCrossAttention’，这种前后级联的结构在bevformer_tiny中一共有3层。
[bevformer]环境布置
weixin_55533898的博客
01-22 961
可以看出驱动版本是470.199.02 可安装的cuda的最高版本是11.4，显卡的内存是8111MB。2. 安装好电脑上cuda版本对应的torch之后，再安装mmdetection3d，否则后面跑不起来​。5. 安装的mmcv mmdet3d版本要和之前的cuda torch之间一一对应。安装过程中注意后的路径，一般为/home/hh/anaconda3​。3. 安装yapf==0.40.1的版本，0.40.2的版本跑不起来。nvidia-smi可以查看显卡对应可安装的最高cuda版本​。
BEVFormer详解
最新发布
MAX的专栏
04-02 1059
BEVFormer 是将Transformer架构的自注意机制与BEV视图中3D检测结合起来的一种纯视觉目标检测方案。对于纯视觉的BEV检测方案，其中的重中之重就是如何将2D的图像特征映射到3D空间的BEV栅格，既然是映射关系，那就有前行投影和反向查询两种机制。前向投影是基于深度估计的方法，参考基于深度估计的BEV视图转换方法，典型代表为LSS。反向查询方法思路为先将BEV栅格在Z方向上进行lift提升，然后再映射到图像特征图上进行特征查询。BEVFormer 就是基于这种机制进行2D图像特征到3D空间的B
BEVFormer环境配置及训练
weixin_50168087的博客
03-29 4372
系统：ubuntu20.04 显卡4090作者说Base 使用 A100*8 大约56个小时。
BEVFormer环境配置
好好好，这么写博客是吧
12-03 2849
pip离线安装包很简单，就是pip install whl文件地址，这里主要讲讲怎么找到对应版本的whl，进入链接后会发现有些torch除了版本还会有cu113的字样，这就表示这是cuda 11.3版本的pytorch，然后后面还会有cp38或者cp39，这表示python版本分别是3.8，3.9，linux，win表示你的系统，根据自己需求下载即可，本文选择python3.8，cuda 11.3，Linux的文件，如下。不过，我仍然是推荐直接下载whl，然后安装，很方便，也很灵活，whl官方的地址是。
BEVFormer
qq_46460131的博客
11-20 2330
BEVFormer
深度学习bev感知算法概述
09-21
根据输入数据的不同，BEV感知算法可以分为基于点云的方法（如Point-based和Voxel-based）以及融合多种数据源的方法（如BEVFusion）。 在数据形式方面，图像数据是从三维世界映射到二维像素平面的结果，而点云数据则...
BEV感知算法 | M2BEV论文解读
DeepDriving
07-17 1439
3D目标检测和BEV分割。传统的3D目标检测主要依赖于激光雷达输出的点云，但是使用激光雷达的成本比较高，另一个选择是使用多个相机的图像作为输入去实现车身周围360°的目标检测任务。BEV分割的目标是在BEV框架中对周围环境进行语义分割，比如可行驶区域和车道边界的分割。在一个统一的框架中去感知周围物体和环境的能力是自动驾驶车辆的核心要求，但是现有的基于相机的方法并不适合做360°多任务感知，M2BEV提出一种高效地将多个视角的2D。
BEV感知算法 | FastBEV论文解读
DeepDriving
07-18 1657
FastBEV在M2BEV的基础上对视图变换方法做了一些优化，加入BEVDet4D中的时序融合方法，是一个高性能、推理速度快、部署友好的BEV感知算法。在读FastBEVBEV感知算法 | LSS论文与代码详解BEV感知算法 | BEVDet系列算法论文解读BEV感知算法 | M2BEV论文解读。
代季峰对话张祥雨 | 自动驾驶感知新时代！新一代环视感知算法BEVFormer有哪些优势...
BAAIBeijing的博客
07-26 2323
导读：Elon Musk说过，“人类不是超人，也不是蝙蝠侠，不能够眼放激光，也不装有雷达，但是通过眼睛捕捉到的图像，人类依旧可以构建出对周围世界的3D空间理解能力，从而很好地掌握驾驶这项能力。”想要真正实现自动驾驶，让汽车具备像人类司机一样的感知能力最为关键。在去年的特斯拉 AI Day上，Karparthy展示了基于Transformer的BEV（Bird's eye ...
BEVFormer复现（使用docker搭建训练环境）
Aitotra的博客
09-05 2627
本文在docker容器中搭建了bevformer的训练环境，完成了算法训练和测试，将其执行环境封装为docker镜像，提供下载，免去反复配置环境的痛苦
BEVFormer 使用与安装指南
gitblog_01092的博客
08-08 1118
BEVFormer 使用与安装指南 BEVFormer[ECCV 2022] This is the official implementation of BEVFormer, a camera-only framework for autonomous driving perception, e.g., 3D object detection and semantic map segmenta...
[BEV] 学习笔记之BEVFormer(一)
Rex大居
12-24 5120
BEVFormer
BEV学习笔记：BEVFormer
weixin_49478680的博客
12-15 1138
在3D空间中的每一个位置都能获得2D空间的投影图像特征，因此可以产生密集的BEV特征，有些工作，如DETR3D，只选取自己感兴趣的3D空间区域，来投影回图像特征，但是这样可能会产生错误的BEV特征，因为3D空间投影回2D空间是经过一个射线，而3D空间的位置有可能本身就是错的。OFT、DETR3D、BEVFormer，这些工作都是预先定义一个3D空间中的锚点，利用相机的参数，将3D锚点投影回2D空间，那么就认为，这个2D空间上的特征就是3D空间上的特征。考虑两个问题：如何选择所需要的特征？
【论文复现】BEVFormer
EterNity_TiMe_的计算机学习之路
12-04 1020
BEVFormer，用于学习具有时空Transformer的统一BEV表征，以支持多个自动驾驶感知任务。BEVFormer利用空间和时间信息，通过预定的网格状BEV查询向量与空间和时间域交互。
BEVFormer：基于Transformer的自动驾驶BEV纯视觉感知
热门推荐
Paper weekly
06-21 1万+
作者 | 李志琦单位 | 南京大学/上海人工智能实验室研究方向 | 基于注意力机制的视觉感知BEVFormer 很荣幸参与到最近这波 BEV 感知的研究浪潮中，我们从开源社区中受益良多，也希望尽我们所能为社区做出我们自己的贡献，希望未来与社区一道共同构建更加安全可靠的自动驾驶感知系统。引言TL; DR：本文提出了一套基于 Transformer 和时序模型在鸟瞰图视角下优...
多传感器融合的BEV感知算法
12-14
根据引用[1]和引用，多传感器融合的BEV感知算法可以分为前融合和后融合两种方法。 前融合是指将多个传感器的数据在输入到深度学习模型之前进行融合，得到一个统一的输入。这种方法的优点是可以充分利用多个传感器的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

__echooo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值