按照MapTR官方的安装指引出现了一些库版本不一致问题,按照如下方式配置环境可以避免无法运行的情况。
GeMap是在MapTRv2的基础上进行了一些改进,所以环境配置和运行基本相同。
1. 环境配置
Ubuntu 18.04.6 LTS,python 3.8, torch 1.10.0, cuda 11.2
1.1 环境安装步骤如下
# 1 创建虚拟环境
conda create -n maptr python=3.8
# 2 激活虚拟环境
conda activate maptr
# 3 下载torch
pip install torch==1.10.0+cu111 torchvision==0.11.0+cu111 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html
pip install mmcv-full==1.3.18 mmdet==2.14.0 mmsegmentation==0.14.1 timm==0.9.5
# 4 下载代码
#如果要运行v2版本,需要切换到 maptrv2 分支。
git clone https://github.com/hustvl/MapTR.git
# 5 安装mmdetection3d
cd MapTR/mmdetection3d
pip install -v e .
# 6 安装maptr相关的插件
cd ../projects/mmdet3d_plugin/maptr/modules/ops/geometric_kernel_attn
python setup.py build install
# 7 其他功能包
cd path_to_MapTR/
pip install -r requirement.txt
# 8 更新networkx,numpy,setuptools版本,2.2在maptr-v2运行时会报错
pip install networkx==2.3 numpy==1.22.2 setuptools==58.2.0 yapf==0.40.1
注意mmcv-full==1.3.18而不是官方的1.14.0,因为1.14.0运行时会出现如下报错。1.3.18这个版本是根据cuda版本、torch版本查询得到的一个版本。 解决方法参考了The qusetion of /mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol: _ZTIN3c1021AutogradMetaInterfaceE · Issue #4291 · open-mmlab/mmdetection · GitHubdownload.openmmlab.com/mmcv/dist/cu111/torch1.10/index.html
Traceback (most recent call last):
File "tools/create_data.py", line 6, in <module>
from data_converter.create_gt_database import create_groundtruth_database
File "/home/ubuntu/DISK/x/MapTR/tools/data_converter/create_gt_database.py", line 6, in <module>
from mmcv.ops import roi_align
File "/home/ubuntu/miniconda3/envs/maptr/lib/python3.8/site-packages/mmcv/ops/__init__.py", line 2, in <module>
from .assign_score_withk import assign_score_withk
File "/home/ubuntu/miniconda3/envs/maptr/lib/python3.8/site-packages/mmcv/ops/assign_score_withk.py", line 5, in <module>
ext_module = ext_loader.load_ext(
File "/home/ubuntu/miniconda3/envs/maptr/lib/python3.8/site-packages/mmcv/utils/ext_loader.py", line 13, in load_ext
ext = importlib.import_module('mmcv.' + name)
File "/home/ubuntu/miniconda3/envs/maptr/lib/python3.8/importlib/__init__.py", line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
ImportError: /home/ubuntu/miniconda3/envs/maptr/lib/python3.8/site-packages/mmcv/_ext.cpython-38-x86_64-linux-gnu.so: undefined symbol: _ZN2at5sliceERKNS_6TensorElN3c108optionalIlEES5_l
安装mmcv-full>1.14.0版本后,会报如下错误,所以根据cuda版本、torch版本查询到的兼容版本,使用了比1.14.0低的一个版本。
AssertionError: MMCV==1.5.0 is used but incompatible. Please install mmcv>=1.3.8, <=1.4.0.
1.2 通过如下命令检查版本
# 1. mmlab相关
pip list | grep mm
# 显示如下:
comm 0.1.4
mmcv-full 1.3.18
mmdet 2.14.0
mmdet3d 0.17.2
mmsegmentation 0.14.1
timm 0.9.5
# 2. torch相关
pip list | grep torch
# 显示如下:
torch 1.10.0+cu111
torchaudio 0.10.0+rocm4.1
torchvision 0.11.0+cu111
1.3 运行脚本可能会出现报错,需要更新一下PYTHONPATH这个环境变量
# 错误4
# 情况1:No module named 'projects.mmdet3d_plugin'
# 情况2:ModuleNotFoundError: No module named 'tools'
# 情况3: ModuleNotFoundError: No module named 'tools.data_converter'
# 情况4:ModuleNotFoundError: No module named 'projects'`
# 因为tools、projects、projects.mmdet3d_plugin都是从本地导入模块,
# 导入失败要么是python环境变量没生效, 要么是模块的路径不对
# 修改办法: 更新python-path环境即可, 当前python虚拟环境的终端执行下面语句
export PYTHONPATH=$PYTHONPATH:"./"
2. 制作数据集
以nuscenes-mini
为例子
2.1 下载Can bus
- 找到
CAN bus expansionexpand
点击US
即可下载 - 解压到/data文件夹下即可
2.2 下载nuscenes-mini
nuScenes-map-expansion-v1.3.zip 解压后的文件夹放入 data/nuscenes/maps文件夹下
v1.0-mini.tgz 直接在 data/nuscenes 文件夹下解压即可。
data
├── can_bus
└── nuscenes
├── maps
│ ├── basemap
│ ├── expansion
│ └── prediction
├── samples
│ ├── CAM_BACK
│ ├── CAM_BACK_LEFT
│ ├── CAM_BACK_RIGHT
│ ├── CAM_FRONT
│ ├── CAM_FRONT_LEFT
│ ├── CAM_FRONT_RIGHT
│ ├── LIDAR_TOP
│ ├── RADAR_BACK_LEFT
│ ├── RADAR_BACK_RIGHT
│ ├── RADAR_FRONT
│ ├── RADAR_FRONT_LEFT
│ └── RADAR_FRONT_RIGHT
├── sweeps
│ ├── CAM_BACK
│ ├── CAM_BACK_LEFT
│ ├── CAM_BACK_RIGHT
│ ├── CAM_FRONT
│ ├── CAM_FRONT_LEFT
│ ├── CAM_FRONT_RIGHT
│ ├── LIDAR_TOP
│ ├── RADAR_BACK_LEFT
│ ├── RADAR_BACK_RIGHT
│ ├── RADAR_FRONT
│ ├── RADAR_FRONT_LEFT
│ └── RADAR_FRONT_RIGHT
└── v1.0-mini
2.3 生成训练数据集
# full
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0 --canbus ./data
# mini
python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes --version v1.0-mini --canbus ./data
3 运行 预测
3.1 预处理数据
# 生成v2数据集
python tools/maptrv2/custom_nusc_map_converter.py --root-path ./data/nuscenes/ --canbus ./data/ --out-dir ./data/nuscenes/ --version v1.0-mini
custom_nusc_map_converter.py 中 main需要屏蔽掉 train和 test的处理,直接生成,代码如下。此步骤会生成data/nuscenes/nuscenes_map_infos_temporal_val.pkl文件,运行预测的时候需要。
if __name__ == '__main__':
# train_version = f'{args.version}-trainval'
# nuscenes_data_prep(
# root_path=args.root_path,
# can_bus_root_path=args.canbus,
# info_prefix=args.extra_tag,
# version=train_version,
# dataset_name='NuScenesDataset',
# out_dir=args.out_dir,
# max_sweeps=args.max_sweeps)
# test_version = f'{args.version}-test'
# nuscenes_data_prep(
# root_path=args.root_path,
# can_bus_root_path=args.canbus,
# info_prefix=args.extra_tag,
# version=test_version,
# dataset_name='NuScenesDataset',
# out_dir=args.out_dir,
# max_sweeps=args.max_sweeps)
nuscenes_data_prep(
root_path=args.root_path,
can_bus_root_path=args.canbus,
info_prefix=args.extra_tag,
version=args.version,
dataset_name='NuScenesDataset',
out_dir=args.out_dir,
max_sweeps=args.max_sweeps)
3.2 下载模型文件,同时确认config文件
3.3 运行
python tools/maptrv2/nusc_vis_pred.py projects/configs/maptrv2/maptrv2_nusc_r50_24ep.py ckpts/maptrv2_nusc_r50_24e.pth --show-dir ./vis_dirs_v2
结果保存在 vis_dirs_v2。
生成可视化视频命令:
python tools/maptr/generate_video.py ./vis_dirs_v2 --video-name demo_v2
视频demo_v2.mp4在vis_dirs_v2同一级目录下。下图为MapTRv2(上)与MapTR(下)的一个对比,MapTRv2的效果确实要比MapTR好一些。
参考