MapTR代码复现实践
- 感谢大佬们的开源工作,
MapTR-YYDS
- 如果觉得本文章可以,一键三连一波,
^_^
- 部署有问题的小伙伴欢迎留言和加
Q
裙-472648720
- BEV各算法环境部署实战汇总
1 环境配置
ubuntu20.04,python-3.8, torch-1.10.0, cuda-11.3, cudnn-8.6
- 不要问其他版本能不能通,小白和不想折腾环境的童鞋直接抄作业
- 默认显卡驱动
cuda,cudnn,conda
已装好,未安装请参考cuda, cudnn,conda
安装
1.1 源码下载与环境安装
- 下载源码
# 1 拉取MapTR源码
git clone https://github.com/hustvl/MapTR.git
- 环境安装
- 默认cuda,cudnn,conda已经安装完成,如果未完成请参考下面链接
cuda,cudnn,conda,python虚拟环境安装及配置参考
- 本人使用版本
cuda-11.3, python3.8,cudnn-8.6.0,torch-1.10.0+cu113,torchvision-0.11.0+cu113
不想折腾的小伙伴请直接抄作业
# 1 创建虚拟环境
conda create -n maptr python=3.8
# 2 激活虚拟环境
conda activate maptr
# 3 下载torch
pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html
pip install mmcv-full==1.4.0 mmdet==2.14.0 mmsegmentation==0.14.1 timm==0.9.5
# 4 安装mmdetection3d
cd mmdetection3d
export CUDA_HOME=/usr/local/cuda-11.3
pip install -v e .
# 5 其他功能包
cd ./
pip install -r requirement.txt
# 6 安装maptr相关的插件
cd ./projects/mmdet3d_plugin/maptr/modules/ops/geometric_kernel_attn
python setup.py build install
'''
终端显示:Processing dependencies for GeometricKernelAttention==1.0
Finished processing dependencies for GeometricKernelAttention==1.0
'''
# 7 更新networkx,numpy,setuptools版本,2.2在maptr-v2运行时会报错
pip install networkx==2.3 numpy==1.22.2 setuptools==58.2.0
# 8 spconv-cu113可以不安装, 本人没有安装
pip install spconv-cu113 -i https://pypi.tuna.tsinghua.edu.cn/simple
- 查看版本号
# 1. mmlab相关
pip list | grep mm
# 显示如下:
comm 0.1.4
mmcv-full 1.4.0
mmdet 2.14.0
mmdet3d 0.17.2
mmsegmentation 0.14.1
timm 0.9.5
# 2. torch相关
pip list | grep torch
# 显示如下:
torch 1.10.0+cu113
torchaudio 0.10.0+rocm4.1
torchvision 0.11.0+cu113
1.2 报错修改
# 错误1
...
from numba.np.ufunc import _internal
SystemError: initialization of _internal failed without raising an exception
# 修改方法: 降低numpy版本即可
pip install numpy==1.22.4
# 错误2
ModuleNotFoundError: No module named 'spconv'
# 修改方法 需要跟cuda配置上, 本人是cuda-11.3, 安装版本如下
pip install spconv-cu113
# 错误3
ModuleNotFoundError: No module named 'IPython'
# 修改方法
pip install IPython
# 错误4
# 情况1:No module named 'projects.mmdet3d_plugin'
# 情况2:ModuleNotFoundError: No module named 'tools'
# 情况3: ModuleNotFoundError: No module named 'tools.data_converter'
# 情况4:ModuleNotFoundError: No module named 'projects'`
# 因为tools、projects、projects.mmdet3d_plugin都是从本地导入模块,
# 导入失败要么是python环境变量没生效, 要么是模块的路径不对
# 修改办法: 更新python-path环境即可, 当前python虚拟环境的终端执行下面语句
export PYTHONPATH=$PYTHONPATH:"./"
# 如果还报错检查这句代码的路径是否正确, 可是使用绝对路径代替
# 错误5
TypeError: FormatCode() got an unexpected keyword argument 'verify'
# 修改办法: 降低yapf版本
pip install yapf==0.40.1
# 错误6
ImportError: libcudart.so.11.0: cannot open shared object file: No such file or directory
# 原因: 安装的mmcv与cuda版本没对用上,建议去whl官方下载离线安装
# 修改参考1.4.1安装mmcv-full教程
# 错误7
# AttributeError: module 'distutils' has no attribute 'version'
修改:更新setuptools版本
pip install setuptools==58.4.0
# 错误8
# docker里面提示libGL.so.1不存在
ImportError: libGL.so.1: cannot open shared object file: No such file or directory
# 修改方法:安装ffmpeg即可
apt-get install ffmpeg -y
# 错误9 pip安装mmcv-full时报错
subprocess.CalledProcessError: Command '['which', 'g++']' returned non-zero exit status 1.
[end of output]
note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for mmcv-full
# 修改方法:由于g++,gcc工具没安装,安装build-essential即可
sudo apt-get install build-essential
# 错误10 训练时显存爆炸 RuntimeError: CUDA out of memory
# 修改:先将配置文件中samples_per_gpu改为1即可workers_per_gpu改0测试环境,
# 后期正式训练时逐渐增加这2个参数的数字, 直到显存占满
# 如果设置成1和0都显存不够, 可以更换显卡了
samples_per_gpu=1, workers_per_gpu=0
# 错误11:
AttributeError: module 'numpy' has no attribute 'long'
# 解决方法 numpy小于1.24.0版本
pip install numpy==1.22.2
# 错误12:
ModuleNotFoundError: No module named 'numpy.typing'
...
raise ChildFailedError(
torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
# 解决方法 升级numpy,我使用1.22.2,samples_per_gpu与workers_per_gpu该下
pip install numpy==1.22.2
# 错误13:
raise nx.NodeNotFound('target node %s not in graph' % target)
networkx.exception.NodeNotFound: target node [(-1.514, 30.0), (2.908, 30.0), (8.48, -30.0), (11.714, -30.0), (6.259, 30.0)] not in graph
# 解决办法: 更新networkx==2.3版本即可
pip install networkx==2.3
- 所有运行代码报错请参考
1.2
节报错修改
2 制作数据集
- 以
nuscenes-mini
为例子
2.1 下载Can bus
- 找到
CAN bus expansionexpand
点击US
即可下载
2020 年 2 月,nusenes官网发布了 CAN 总线扩展。它包含有关车辆路线、IMU、姿态、转向角反馈、电池、制动器、档位、信号、轮速、油门、扭矩、太阳能传感器、里程计等的低级车辆数据。要安装此扩展,请按照以下说明进行操作。
2.2 下载nuscenes-mini
下载参考Fast-BEV代码复现实践第2.1节下载数据集篇
将下载的数据放入./data
目录下(新建一个data
即可)
最终数据集目录结构如下,can_bus
文件太多,这里不便展开
data
├── can_bus
└── nuscenes
├── maps
├── nuscenes_gt_database
├── samples
├── sweeps
└── v1.0-mini
2.3 生成训练数据集
# full
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0 --canbus ./data
# mini 本人使用的mini
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0-mini --canbus ./data
3 训练train
- 下载resnet预训练权重
本人使用的resnet50-19c8e357.pth
, resnet18-f37072fd.pth
可以不下载
# 1 在MapTR目录下新建ckpts目录
mkdir ckpts
# 2 进入目录
cd ckpts
# 3 下载resnet50预训练权重
wget https://download.pytorch.org/models/resnet50-19c8e357.pth
# 4 下载resnet18预训练权重
wget https://download.pytorch.org/models/resnet18-f37072fd.pth
- 修改
projects/configs/maptr/maptr_nano_r18_110e.py
配置文件中相关参数
# 1. 预训练权重
pretrained=dict(img='ckpts/resnet50-19c8e357.pth'),
# 2. BN层修改 单卡BN,多卡用SyncBN
# norm_cfg=dict(type='SyncBN', requires_grad=True), # 多卡BN层
norm_cfg=dict(type='BN', requires_grad=True), # 单卡BN层
# 3. 数据集位置
data_root = 'data/nuscenes/'
# 4. samples_per_gpu和workers_per_gpu
samples_per_gpu=6,
workers_per_gpu=2,
# 训练周期
total_epochs = 100
# 5训练 单卡训练代码最后跟个`1`,八卡最后跟个`8`
./tools/dist_train.sh ./projects/configs/maptr/maptr_nano_r18_110e.py 1
-
其他配置文件训练与上面修改一致,对应上即可, 如果搞不清楚相对路径直接使用绝对路径即可,省事
-
训练完成后结果保存在
work_dirs
目录下。
4 预测
tools/maptr/vis_pred.py
- 下载官方训练好的权重和配置文件
- 本人下载的
maptr_tiny_r50_24e.pth
下载地址 和对应config
作为测试
- 修改配置文件
由于将权重文件放入config/maptr_tiny_r50_24e.py
目录,
需要修改maptr_tiny_r50_24e.py
中的_base_
参数custom_nus-3d.py
与default_runtime.py
文件的路径
- 搞不清楚路径直接上绝对路径即可,本人的如下:
_base_ = [
'../projects/configs/datasets/custom_nus-3d.py',
'../projects/configs/_base_/default_runtime.py'
]
- 运行
python tools/maptr/vis_pred.py config/maptr_tiny_r50_24e.py ckpts/maptr_tiny_r50_24e.pth --show-dir ./vis_dirs
- 结果保存在
./vis_dirs
目录下
- 生成可视化视频
python tools/maptr/generate_video.py ./vis_dirs
- 生成
demo.mp4
视频流某一帧显示如下:
- 如果觉得本文章可以,一键三连一波,
^_^
- 欢迎加入
Q
裙-472648720
,大家一起学习bev
相关知识1+1>2
😊