BEVFusion-mit复现与实践(nuscenes数据集)

置顶雨秒的對望

已于 2024-04-16 21:28:22 修改

阅读量1.1w

点赞数 66

文章标签：深度学习 python 人工智能 BEV nuscenes

于 2023-12-20 17:29:20 首次发布

本文链接：https://blog.csdn.net/weixin_54678439/article/details/134571637

版权

一、CUDA版本11.1

二、创建虚拟环境并激活

conda create -n bevfusion python=3.8
conda activate bevfusion

三、安装pytorch

1、下载cuda对应版本的torch和torchvision到本地文件夹

下载地址：https://download.pytorch.org/whl/torch_stable.html

在这里插入图片描述
2、进入安装包文件夹安装：

pip install torch-1.10.0+cu111-cp38-cp38-linux_x86_64.whl
pip install torchvision-0.11.0+cu111-cp38-cp38-linux_x86_64.whl

3、验证：

python
import torch
print(torch.__version__)
#1.10.0+cu111
import torchvision
print(torchvision.__version__)
#0.11.0+cu111

四、安装openmpi

1、下载安装：

wget https://download.open-mpi.org/release/open-mpi/v4.1/openmpi-4.1.4.tar.gz
tar zxf openmpi-4.1.4.tar.gz

cd openmpi-4.1.4
./configure --prefix=/usr/local/openmpi
make -j8
sudo make install

2、配置环境~/.bashrc

MPI_HOME=/usr/local/openmpi
OMPI_MCA_opal_cuda_support=true
export PATH=${MPI_HOME}/bin:$PATH
export LD_LIBRARY_PATH=${MPI_HOME}/lib:$LD_LIBRARY_PATH
export MANPATH=${MPI_HOME}/share/man:$MANPATH

3、测试

cd openmpi-4.1.4/examples
make
mpirun -np 4 hello_c

出现以下：
在这里插入图片描述

五、安装功能包

conda 虚拟环境下

pip install mmcv-full==1.4.0 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.10.0/index.html
pip install mmdet==2.20.0
conda install openmpi
conda install mpi4py
pip install Pillow==8.4.0
pip install tqdm
pip install torchpack
pip install nuscenes-devkit
pip install ninja
pip install numpy==1.19
pip install numba==0.48.0
pip install shapely==1.8.0

六、源码下载

源码下载地址：https://github.com/mit-han-lab/bevfusion

git clone https://github.com/mit-han-lab/bevfusion.git

七、参数修改与编译

1、更改indice_cuda.cu

在mmdet3d/ops/spconv/src/indice_cuda.cu下，将里面的4096都改成256，否则会爆显存

2、更改目录的setup.py

需要把显卡算力改成自己对应的，其余的注释掉。例如我的3090是86（具体的算力对应大家可以查查）

"-D__CUDA_NO_HALF_OPERATORS__",
"-D__CUDA_NO_HALF_CONVERSIONS__",
"-D__CUDA_NO_HALF2_OPERATORS__",
"-gencode=arch=compute_70,code=sm_70",
"-gencode=arch=compute_80,code=sm_80",
"-gencode=arch=compute_86,code=sm_86",

3、当前目录下编译

python setup.py develop

八、nuscenes-mini版本

1、配置文件

1.1 下载nuScenes数据集

下载地址：https://www.nuscenes.org/nuscenes

1.2 文件夹结构

bevfusion
├── tools
├── configs
├── data
│   ├── nuscenes
│   │   ├── maps
│   │   ├── samples
│   │   ├── sweeps
│   │   ├── v1.0-mini

Map expansion pack(v1.3) 下载解压到maps文件夹中。否则后面运行分割的时候会报错！
在这里插入图片描述

1.3 运行数据转换的脚本

python tools/create_data.py  nuscenes --root-path ./data/nuscenes/ --version v1.0-mini --out-dir data/nuscenes/ --extra-tag nuscenes

报错1：ImportError: cannot import name ‘feature_decorator_ext’ from partially initialized module ‘mmdet3d.ops.feature_decorator’ (most likely due to a circular import) (/home/mengwen/bevfusion/mmdet3d/ops/feature_decorator/init.py)

解决：

（1）注释掉 mmdet3d/ops/init.py 中的 from .feature_decorator import feature_decorator

报错2：FileNotFoundError: NuScenesDataset: [Errno 2] No such file or directory: ‘data/nuscenes//nuscenes_infos_train.pkl’

解决：更改tools/data_converter/nuscenes_converter.py 中第95~100行

info_path = osp.join(root_path,
'{}_infos_train.pkl'.format(info_prefix))
info_val_path = osp.join(root_path,
'{}_infos_val.pkl'.format(info_prefix))

在这里插入图片描述

转换之后nuscenes文件夹：

在这里插入图片描述

2、开始复现

2.1 下载预训练权重

下载地址：http://drive.google.com/drive/folders/1Jru7VTfgvFF949DlP1oDfriP3wrmOd3c

在这里插入图片描述

2.2 训练

（1）修改参数

设置训练轮数：
configs/default.yaml中修改epoch：max_epochs: 6
configs/nuscenes/det/transfusion/secfpn/camera+lidar/default.yaml, max_epoch:6
显存溢出：
configs/nuscenes/default.yaml, samples_per_gpu: 2（bitch_size），workers_per_gpu: 2
configs/nuscenes/det/centerhead/lssfpn/camera/256x704/swint/ default.yaml, 建议设置samples_per_gpu: 3

（2）开始训练

原文readme里-np后面是8，这里要改成1（因为我们PC上跑是单GPU），不然会卡住不动

torchpack dist-run -np 1 python tools/train.py configs/nuscenes/det/transfusion/secfpn/camera+lidar/swint_v0p075/convfuser.yaml --model.encoders.camera.backbone.init_cfg.checkpoint pretrained/swint-nuimages-pretrained.pth --load_from pretrained/lidar-only-det.pth

报错1：TypeError: FormatCode() got an unexpected keyword argument ‘verify’

解决：yapf包的版本问题，我原来yapf包的0.40.2，降低为yapf==0.40.1

pip install yapf==0.40.1

报错2：AttributeError: module ‘distutils’ has no attribute ‘version’

解决：setuptools版本过高导致的问题

pip install setuptools==58.0.4

报错3：RuntimeError: Given groups=1, weight of size [8, 1, 1, 1], expected input[24, 6, 256, 704] to have 1 channels, but got 6 channels instead

解决：将 mmdet3d/models/vtransforms/base 中第38行: add_depth_features=True 改为 False ,37行也改为 False

报错4：RuntimeError: CUDA out of memory. Tried to allocate 168.00 MiB (GPU 0; 23.70 GiB total capacity; 2.41 GiB already allocated; 96.50 MiB free; 2.43 GiB reserved in total by PyTorch) If reserved memory i

解决：单卡gpu不能满足，采用分布式训练，在mmdet3d/apis/train.py文件中把distributed参数设置为True，直接vs-code全局搜索找到distributed

在这里插入图片描述
（3）训练结束：

在这里插入图片描述 2.3 测试

#预训练模型测试
torchpack dist-run -np 1 python tools/test.py configs/nuscenes/det/transfusion/secfpn/camera+lidar/swint_v0p075/convfuser.yaml pretrained/bevfusion-det.pth --eval bbox

测试完成：

在这里插入图片描述

3、实践

3.1 训练BEVFusion detection

多卡更换顺序在前面加上：CUDA_VISIBLE_DEVICES=‘3,2,1,0’

CUDA_VISIBLE_DEVICES='3,2,1,0' torchpack dist-run -np 2 python tools/train.py configs/nuscenes/det/transfusion/secfpn/camera+lidar/swint_v0p075/convfuser.yaml --model.encoders.camera.backbone.init_cfg.checkpoint pretrained/swint-nuimages-pretrained.pth --run-dir train_result

训练完成后会在train_result目录下生成下面文件结构如下：

在这里插入图片描述
configs.yaml和latest.pth在测试和可视化需要使用

3.2 测试

#生成box.pkl文档

#自己训练模型测试
torchpack dist-run -np 1 python tools/test.py train_result/configs.yaml train_result/latest.pth --eval bbox --out box.pkl

测试完成：

在这里插入图片描述

3.3 生成可视化

torchpack dist-run -np 1 python tools/visualize.py train_result/configs.yaml --mode gt --checkpoint train_result/latest.pth --bbox-score 0.5 --out-dir vis_result

报错1：ModuleNotFoundError: No module named ‘torchpack.utils.tqdm’

解决：把tools/visualize.py文件中from torchpack.utils.tqdm import tqdm改成from tqdm import tqdm

解决：在mmdet3d/models/vtransforms/base.py中2个forward函数的参数都加上metas变量，加到**kwargs前

在这里插入图片描述
3.4 查看结果

在vis_result下生成可视化文件

在这里插入图片描述

可视化结果:

在这里插入图片描述

九、nuscenes正常版本

1、运行数据转换的脚本

调用根目录下的数据集

python tools/create_data.py nuscenes --root-path /data/public_dataset/nuscenes --out-dir /home/mengwen/BEV/bevfusion/data/nuscenes --extra-tag nuscenes

2、训练BEVFusion detection

torchpack dist-run -np 4 python tools/train.py configs/nuscenes/det/transfusion/secfpn/camera+lidar/swint_v0p075/convfuser.yaml --model.encoders.camera.backbone.init_cfg.checkpoint pretrained/swint-nuimages-pretrained.pth --load_from pretrained/lidar-only-det.pth