BEVFormer环境配置及训练

系统：ubuntu20.04  显卡4090

作者说Base 使用 A100*8 大约56个小时

1 拉取源码 github加速代理GitHub Proxy 代理加速

git clone https://github.com/fundamentalvision/BEVFormer.git

2 创建和激活虚拟环境

conda create -n bev python=3.8 -y
conda activate bev

3 安装torch,torchvision,torchaudio

#科学上网
pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html

#或使用镜像
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html

#或使用conda安装（官网查询自己电脑的安装命令）
conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/

4 官网下载nuscenes数据集的mini版 及canbus.zip

5 gcc版本 （可选，我安了）

conda install -c omgarcia gcc-6 # gcc-6.2

6 安装mmopenlib系列

mmcv-full会装很久，因此建议使用mim安装，一定要注意安装顺序，安mmcv-full前确认没有安装mmdet和mmsegmentation，否则会报错

pip install -U openmim
pip install mmcv-full==1.4.0
pip install mmdet==2.14.0
pip install mmsegmentation==0.14.1

7 安装mmdet3d-v0.17.1

#进入bevformer目录

cd BEVformer

#下载mmdetection3d github加速代理https://ghproxy.com/ git clone https://github.com/open-mmlab/mmdetection3d.git

#进入mmdetection3d：

cd mmdetection3d

#切换到v0.17.1

git checkout v0.17.1

#安装mmdet3d-v0.17.1版本，之前使用ubuntu22.04在同样的python、torch、cuda版本下，这步未安装成功

python setup.py install

8 安装 Detectron2 and Timm

#8.1 安装基本python依赖包

pip install einops fvcore seaborn iopath==0.1.9 timm==0.6.13 typing-extensions==4.5.0 pylint ipython==8.12 numpy==1.19.5 matplotlib==3.5.2 numba==0.48.0 pandas==1.4.4 scikit-image==0.19.3 setuptools==59.5.0 yapf==0.40.1

#8.2 安装 Detectron2

python -m pip install 'git+https://github.com/facebookresearch/detectron2.git'

9 下载预训练模型

#创建并进入ckpts文件夹

#进入bevformer目录后
mkdir ckpts
cd ckpts

#下载预训练权重r101_dcn_fcos3d_pretrain.pth，github加速代理https://ghproxy.com/ wget https://github.com/zhiqi-li/storage/releases/download/v1.0/r101_dcn_fcos3d_pretrain.pth

10.准备和处理数据集

# data文件夹展开结构,can_bus内容太多，这就不展开

# 1 mini数据集训练

python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0-mini --canbus ./data

# 2 full数据集 可以将v1.0-mini复制一份命名v1.0-trainval

python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0 --canbus ./data

运行上面代码后会在 data/nuscenes/目录下生成2个 pkl 和 2 个 json 文件。

11.训练：

修改配置文件

#训练前,修改配置文件./projects/configs/bevformer/bevformer_base.py参数, 主要下面4个参数： max_epoch=2

sample_per_gpu=1

worker_per_gpu=0

（显存48g设置为2时就爆内存了，设置为2需要57g，至少显存30g朝上） #命令行进入bevformerb，输入训练命令，最后一个参数是显卡个数, 只有一张显卡写1，8张写8

./tools/dist_train.sh ./projects/configs/bevformer/bevformer_base.py 1 ./tools/dist_train.sh ./projects/configs/bevformer/bevformer_small.py 1

使用bevformer_small.py训练过程：

12.测试评估

#使用base预训练模型

./tools/dist_test.sh ./projects/configs/bevformer/bevformer_base.py ckpts/bevformer_r101_dcn_24ep.pth 1

#使用tiny预训练模型

./tools/dist_test.sh ./projects/configs/bevformer/bevformer_tiny.py ckpts/bevformer_tiny_epoch_24.pth 1

#使用自己训练出来的模型权重

./tools/dist_test.sh ./projects/configs/bevformer/bevformer_tiny.py ckpts/latest.pth 1

13.报错修改：

1.distrbuted相关：

解决方法：修改分布式训练模式为单一GPU训练

进入bevformer/mmdetection3d/tools/test.py

去掉注释部分的#

#在else：后添加：

find_unused_parameters = True