Fast-BEV代码复现实践

已于 2023-11-15 21:51:55 修改
阅读量7.2k 收藏 74
点赞数 29
分类专栏： BEV环视感知 文章标签： python pytorch 深度学习 自动驾驶 目标检测
于 2023-04-23 11:23:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h904798869/article/details/130317240
版权

Fast-BEV代码复现实践，专业踩坑

最近在研究一些BEV视觉感知算法，这里记录一下Fast-BEV代码复现实践，专业踩坑^_^
理论这里就不详细介绍，详情见原作者论文Fast-BEV: A Fast and Strong Bird’s-Eye View Perception Baseline
其他csdn,知乎上理论讲解也比较详细。主要还是本人太菜，讲不了理论，这里只讲工程复现^_^

  • 如果觉得本文章可以，一键三连支持一波，^_^
  • 部署有问题的小伙伴欢迎留言和加Q裙-472648720

BEVFusion代码复现实践

BEVFustion-TensorRT部署

BEV各算法环境部署实战汇总

1 运行环境搭建

  • ubuntu20.04，python-3.8, torch-1.10.0, cuda-11.3，cudnn-8.6
  • 不要问其他版本能不能通，小白和不想折腾环境的童鞋直接抄作业

1.1 conda与cuda

cuda,conda,torch安装参考

  1. 采用conda管理python环境,毕竟方便,miniconda下载地址 安装步骤略
  2. 显卡驱动cuda，cudnn安装网上帖子多，为了省略篇幅，默认安装好了
  • 大家具体不知道各种库版本号对应关系，就直接跟着抄作业，cuda-11.3.0, cudnn-8.6.0，python-3.8， torch-1.10.0 , mmopenlab相关库版本也一样，直接抄作业
  • conda和pip换国内源, 百度搜一下，防止国内安装失败 换源参考

1.2 构建python虚拟环境

  • 大家不知道某个库的具体版本，就直接抄作业，跟我一致就行，后面就不再强调
  1. 构建python环境
    python用3.8以上，3.7版本后续mmcv相关安装出了问题
conda create -n fastbev python=3.8
  • 激活新环境
conda activate fastbev
  1. torch安装

cuda与torch版本查询 我用的torch-1.10.0

pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html
  1. 安装mmcv相关库

由于fastbev出来很久了，而mmcv-full已经更新到2.x.x版本，改名为mvcc, fastbev还是用的 mmcv-full

  • 安装fastbev所需的mmopenlab的相关包
# 安装mmcv-full安装时终端会卡住，不是卡住，是下载时间比较长，耐心等待
pip install mmcv-full==1.4.0

# 安装mmdet
pip install mmdet==2.14.0

# 安装mmdet
pip install mmsegmentation==0.14.1

1.3 下载FASTBEV源码

可以直接拉取本人已经修改后的仓库代码gitee地址， 求个☆Star，^_^

  • 安装fastbev相关依赖
# 下载fastbev工程
git clone https://github.com/Sense-GVT/Fast-BEV.git
# 激活虚拟环境
conda activate fastbev
# 进入Fast-BEV
cd Fast-BEV

# 配置所需依赖包
pip install -v -e .  
# or "python setup.py develop"
  • 查看mmopenlab相关包版本号
python -c 'import mmcv;import mmdet;import mmdet3d;import mmseg;print(mmcv.__version__);print(mmdet.__version__);print(mmdet3d.__version__);print(mmseg.__version__)'

显示版本号如下：依次为mmcv,mmdet,mmdet3d,mmseg对应的版本号

在这里插入图片描述

其他依赖包：

 pip install ipdb
 pip install timm

自此基本环境已经装好。

2 准备数据集

2.1 下载数据集

这里只介绍nuscenes数据集，nuscenes下载地址

由于nuscenes数据太大，这里只测试nuscense提供mini版本, 下载map跟mini，如下图点击红色框中US即可

  1. 下载
    点击US，Aias都行
    在这里插入图片描述

下载后得到2个压缩的文件

在这里插入图片描述

  1. 解压到当前目录
    解压得到nuScenes-map-expansion-v1.3与v1.0-mini两个目录, 把nuScenes-map-expansion-v1.3中的三个文件复制到v1.0-mini/map目录下。最终得到新v1.0-mini目录，就行训练所需的数据集。

在这里插入图片描述

2.2 数据集转换为FastBEV支持格式

进入Fast-BEV工程目标, 创建data目录，然后将上面的v1.0-mini文件夹复制到./Fast-BEV/data下, 并将v1.0-mini重命名为nuscenes， 目录结构如下图所示：
在这里插入图片描述

因为使用的mini数据集, 转换时候加上参数--version 该数据未提供v1.0-test文件

如果使用全部的nuscenes数据可以不跟--version

  1. 运行create_data.py
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --workers 10 --version v1.0-mini

执行后，产生下面红框中的文件

在这里插入图片描述

  1. 运行nuscenes_seq_converter.py
    由于使用的mini数据集无test文件，需要修改nuscenes_seq_converter.py文件，找到代码15行和20行，修改如下：

在这里插入图片描述

修改后，运行

python tools/data_converter/nuscenes_seq_converter.py

生成 nuscenes_infos_train_4d_interval3_max60.pkl 与 nuscenes_infos_val_4d_interval3_max60.pkl 两个文件,
这两个文件就是训练需要的数据集，如下图所示：

在这里插入图片描述

3 训练

3.1 训练配置

  1. 下载预训练模型pretrained_models

下载地址 需要魔法上网
总体提供了r18,r34,r50三种残差网络模型。这里下载cascade_mask_rcnn_r18_fpn_coco-mstrain_3x_20e_nuim_bbox_mAP_0.5110_segm_mAP_0.4070.pth

这个需要跟配置文件一致。配置文件也是 r18, 下载后，新建一个pretrained_models目录放入其中。如下图所示：

在这里插入图片描述

  1. 修改配置文件
    不修改配置文件可能出现3.2节的报错问题, 修改后，可直接跳过3.2小节

以 configs/fastbev/exp/paper/fastbev_m0_r18_s256x704_v200x200x4_c192_d2_f4.py,文件为例：（当然其他几个配置文件也行）

在这里插入图片描述

  • 将该配置文件中的将SyncBN改成BN，将AdamW2换成Adam;

  • 该配置文件中146行代码去掉注释; 147-150代码加上注释, 如下所示

file_client_args = dict(backend='disk')
# file_client_args = dict(
# backend='petrel',
# path_mapping=dict({
# data_root: 'public-1424:s3://openmmlab/datasets/detection3d/nuscenes/'}))
  • 安装setuptools-58.0.4版本
conda install setuptools==58.0.4
  • 配置文件中预训练模型地址修改， 代码331行，load_from参数指向第1步下载的预训练模型地址，如果不知道相对路径，可以直接给绝对路径，我这里是相对路径
load_from = 'pretrained_models/cascade_mask_rcnn_r18_fpn_coco-mstrain_3x_20e_nuim_bbox_mAP_0.5110_segm_mAP_0.4070.pth'
  1. 训练
python tools/train.py configs/fastbev/exp/paper/fastbev_m0_r18_s256x704_v200x200x4_c192_d2_f4.py --work-dir work_dir --gpu-ids 0

参数说明

--gpu-ids  0代表gpu使用第1块。本机只有一块gpu
--work-dir  输出文件目录，包含日志等文件
其他参数详情建train.py中parse_args()函数

终端出现以下图中红色框中内容，代表训练已经成功运行, 具体训练周期epoch，batch_size等参数可以在fastbev_m0_r18_s256x704_v200x200x4_c192_d2_f4.py配置文件中修改
在这里插入图片描述

3.2 训练时报错

  • 错误1
    在这里插入图片描述

方案1： 点击红框上面一行，跳转到报错的文件中，注释掉使用distutils的代码

在这里插入图片描述

方案2：
AttributeError: module 'distutils' has no attribute 'version'

conda install setuptools==58.0.4
  • 错误2
    在这里插入图片描述

146行去掉注释，147-150加上注释

  • 错误3
    在这里插入图片描述

将SyncBN改成BN

  • 错误4
    在这里插入图片描述

将AdamW2换成Adam

4 测试

4.1 测试推理

由于自己的显卡显存受限，训练的模型，测试结果不太理想，直接采用原作者提供的训练好的模型进行测试，下载地址

本人采用的fastbev_m0_r18_s256x704_v200x200x4_c192_d2_f4中epoch_20.pth, 下载地址

python tools/test.py configs/fastbev/exp/paper/fastbev_m0_r18_s256x704_v200x200x4_c192_d2_f4.py pretrained_models/epoch_20.pth --out output/result.pkl
  • out 必须跟.pkl后缀。用来保存检测结果
--out 必须跟.pkl后缀。用来保存检测结果
--show 不要加，加上会报错，可能原作者未优化好

4.2 可视化

由于测试运行代码时，加入–show会报错，可以tools/misc/visualize_results.py把上一步的result.pkl生成视频流展示。

python tools/misc/visualize_results.py configs/fastbev/exp/paper/fastbev_m0_r18_s256x704_v200x200x4_c192_d2_f4.py --result output/result.pkl --show-dir show_dir
  • 报错1：

assert len(_list) == len(sort)

在这里插入图片描述

解决办法：Fast -BEV/mmdet3d/datasets/nuscenes monocular_dataset.py, 找到192行修改成193行样子：
在这里插入图片描述

  • 报错2：

在这里插入图片描述

解决方法，安装这2个包：

pip install imageio[ffmpeg] imageio[pyav]

最后运行visualize_results.py ，生成video_pred.mp4与video_gt.mp4两个视频：

在这里插入图片描述

其中某一帧可视化：

在这里插入图片描述

发现m5-r18模型效果不是很好，很多只检测了个寂寞，大家可以尝试用m5-r50的epoch_20pth， 下载地址

参考文章

感谢各位大佬的辛勤付出, 瑞思拜^-^！!！

作者源码github地址

参考文章一

参考文章二

小伙伴们部署时遇到问题，欢迎各位小伙伴留言，欢迎进入bev交流釦裙472648720，大家一起学bev!

如果觉得文章可以，一键三连支持一波，瑞思拜^-^

全网最菜的Slamer
关注
  • 29
    点赞
  • 踩
  • 74
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 71
    评论
专栏目录
hot-bev：适用于较大应用程序的Mocha记者。 紧凑的输出和即时故障记录
02-17
热啤酒 Mocha的Hot Bev记者。 紧凑的输出和立即的故障报告。 适用于大型/长时间运行的测试套件。 设置 $ npm install --save-dev @bonniernews/hot-bev $ npx mocha --reporter @bonniernews/hot-bev
【BEV】学习笔记之FastBEV(原理+代码注释)
Rex大居
02-23 3513
FastBEV
详解视觉BEV3D检测模型: Fast-BEV: A Fast and Strong Bird‘s-Eye View Perception Baseline
10点43的博客
02-05 3258
本文介绍一篇视觉BEV3D检测模型:，论文收录于。目前大多数现有的BEV感知方案要么需要相当多的资源来执行车端推理，要么性能不高。本文提出了一种简单而有效的框架，称为，它能够在车载芯片上执行更快的BEV感知。为了实现这一目标，本文通过试验发现，其中，(1)和(3)使Fast-BEV能够在车载芯片上快速推理和方便部署，(2)，(4)和(5)确保Fast-BEV具有竞争力的性能。这些都使得Fast-BEV成为自动驾驶车载芯片上高性能、快速推理和易于部署的解决方案。
Fast-BEV阅读笔记
weixin_43537097的博客
03-11 537
url:project:fast-bev商汤的作品。近年来，BEV感知吸引了越来越多的关注，从工业界特斯拉、一系列国产新能源汽车，到学术界众多BEV感知模型。其中不乏有很多优秀的作品，但是其考量都在如何增强模型的表现和性能。并未考虑基于transformer等模型在落地时，车载芯片的算力不足于支撑其复杂的推理过程。Fast-BEV以此为突破口进行了深入的研究。
复现BEVFusion遇到过的坎儿
weixin_62497890的博客
09-21 986
关于bevfusion的报错问题，很多GitHub的issue里都有，我记录在此也是方便自己查看，省的以后重新来还要一个问题一个问题去翻找
Fast Bev在ubuntu上的复现过程以及error汇总
qq_42704750的博客
04-21 1462
FastBEV复现过程和error汇总
AVP-SLAM-SIM:模拟中AVP-SLAM（IROS 2020）的基本实现（不是官方代码）。 https
05-25
AVP-SLAM-SIM 基本实现仿真 。 尊重AVP-SLAM项目->童琴，陈同庆，陈以伦和苏青 AVP-SLAM-SIM 基本实现仿真！ ·· 目录 关于该项目 代码结构 怎么跑 怎么跑 路线图 贡献 执照 接触 致谢 关于该项目 这个项目只是我对Paper的实现，而不是正式发布，我们仅发布我们的仿真代码。 Other Code will be released soon 代码结构 我们发布了基本的代码结构，对于整个项目，您至少需要calib ， segmentation ， avp-bev ， sync part等。avp-bev是该项目的核心部分之一，该结构如图所示： 如果您对此项目感兴趣，则可以遵循***.h文件来关联您的实现。 怎么跑 这个项目提供了一个凉亭世界。 因此，如果您想测试代码，则需要准备仿真世界。 该项目需要一个凉亭环境，通常加载凉亭模型需要很长时
FastBEV复现 Ubuntu
Furtherisxgi的博客
03-24 1607
安装完成CUDA10.2之后，在conda中新建一个虚拟环境，安装1.6的pytorch，CUDA版本太高的话安装不了太低版本的pytorch，所以需要安装10.2版本的CUDA。原作者训练的数据为完整的nuscences数据集，项目里面提供的pkl文件对应真个nuscences数据集，而对于个人学习来说，一般只能使用mini数据集。因为过高的pytorch版本编译不了mmdet3d,所以需要安装较低版本pytorch，在这里我安装的是1.6.0版本的。安装的过程中会有很多包的版本问题，慢慢安装就行。
BEVFusion代码复现实践
h904798869的博客
08-10 7672
BEV环境感知，多传感器融合，bevfusion代码部署
【BEV】TPVFormer复现以及原理
Rex大居
03-17 2479
TPVFormer
BEVFusion-复现问题:CUDA error: no kernel image is available for execution on the device
ll594282475的博客
06-20 1422
BEVFusion RuntimeError: CUDA error: no kernel image is available for execution on the device CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUNCH_B
BEV感知的
m0_46973820的博客
06-13 70
具体来说，geometry是一个形状为(N, 3)的numpy数组，每行表示一个三维空间点的坐标。bev_dimension是一个形状为(3,)的numpy数组，表示Bird's Eye View（BEV）的长、宽、高。将geometry的每个点的坐标进行线性组合，得到一个一维的numpy数组，用于表示该点在BEV中的位置，其中每个元素的值都表示该点在BEV中某个方向上的位置。在x、y和z方向上的鸟瞰图空间维度第一个数即。x、y和z方向上的起始位置。x、y和z方向上的分辨率。颜色按照ranks显示。
simple-bev权重文件
01-09
simple_bev权重文件dropbox下载，给 不会上网的人下载，两个文件都包含
avp-bev-open:一个pkg在视图图像（4-6个相机）周围四处划动以生成鸟瞰图
05-26
AEV-电动汽车 一个pkg在视图图像（4-6个相机）周围四处划动，以产生鸟瞰图！ ·· 目录 关于该项目 红色->相机看不到的盲区 蓝色->车身区域 环视系统是驾驶员监视驾驶环境的重要信息介质。 典型的环视系统由围绕车辆布置的四到六个鱼眼摄像机组成。 从这些摄像机输入中，可以使用经过良好校准的摄像机姿势生成车辆周围地面的自顶向下图像，即环绕视图图像。 我们的项目旨在围绕视图图像（4-6个摄像头）生成鸟瞰图！ 由于某些原因，我们仅在凉亭中发布模拟结果。 Code will be released if possiable! 路线图 AVM系统 阿达斯 贝弗分割 本地化 ...... 贡献 贡献使开源社区成为了一个令人赞叹的学习，启发和创造场所。 您所做的任何贡献都将不胜感激。 分叉项目 创建您的Feature分支（ git checkout -b feature/Amazin
500-bev:比利时电子500年目录
03-19
关于Laravel Laravel是一个具有表达力，优雅语法的Web应用程序框架。我们认为，发展必须是一种令人愉快的，富有创造力的经历，才能真正实现。 Laravel减轻了许多Web项目中使用的常见任务，从而减轻了开发过程中的痛苦，例如： 。 。 用于和存储的多个后端。 富有表现力，直观的 。 数据库不可知。 。 。 Laravel易于访问，功能强大，并提供大型，强大的应用程序所需的工具。 学习Laravel Laravel拥有所有现代Web应用程序框架中最广泛，最全面的和视频教程库，因此轻而易举地开始使用该框架。 如果您不想读书，可以使用帮助。 Laracasts包含1500多个视频教程，涉及各种主题，包括Laravel，现代PHP，单元测试和JavaScript。深入我们全面的视频库，提高您的技能。 Laravel赞助商 我们要感谢以下赞助商为Laravel开发提供资金。如果您有
fast bev 配置文件
01-29
fast bev 配置文件
st-bev定价演示
02-12
st-bev定价演示
fb-bev训练测试及其中的报错
04-02
fb-bev训练测试及其中的报错
[python3] 读取一个正在更新的日志文件
最新发布
言之。
04-24 907
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
FAST bev复现
11-15
为了复现Fast BEV算法，需要按照以下步骤进行操作： 1.安装依赖 2.下载代码 3.下载数据集 4.训练模型 5.测试模型 以下是详细的步骤： 1.安装依赖 在复现Fast BEV算法之前，需要安装以下依赖项： - Python 3.6+ - PyTorch 1.0+ - CUDA 9.0+ - GCC 4.9+ - OpenCV 3.4+ 2.下载代码 从GitHub上下载Fast BEV的代码，可以使用以下命令： ```shell git clone https://github.com/mileyan/fast-bev.git ``` 3.下载数据集 下载KITTI数据集，并将其解压缩到fast-bev/data目录下。 4.训练模型 使用以下命令来训练模型： ```shell python train.py --config configs/kitti_car.yaml ``` 训练完成后，模型将保存在output/kitti_car目录下。 5.测试模型 使用以下命令来测试模型： ```shell python test.py --config configs/kitti_car.yaml --ckpt output/kitti_car/checkpoint.pth.tar ``` 测试完成后，结果将保存在result目录下。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 71
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

全网最菜的Slamer

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值