MUTR3D安装与配置完全指南

MUTR3D安装与配置完全指南

MUTR3D Code for Paper, MUTR3D: A Multi-camera Tracking Framework via 3D-to-2D Queries. https://tsinghua-mars-lab.github.io/mutr3d/ 项目地址: https://gitcode.com/gh_mirrors/mu/MUTR3D

项目基础介绍及编程语言

MUTR3D 是一个基于Python的多摄像头追踪框架，它利用了3D到2D查询的方式进行对象跟踪。这个项目专为解决自动驾驶系统中的多视角3D物体追踪问题设计，特别是在处理复杂的场景时，如深度估计困难、视觉遮挡以及外观相似性挑战等。MUTR3D依赖于MMdetection3D库，并通过引入“3D轨迹查询”来模型化跨多个摄像机出现的对象的空间和外观连贯轨迹。主要使用的编程语言是 Python，同时涉及C++和CUDA的部分。

关键技术和框架

• MMdetection3D: 这个项目基于MMdetection3D构建，一个用于3D目标检测的开源工具箱。
• MOTR: 相关技术灵感可能来源于MOTR（多目标跟踪），强调了端到端的跟踪方法。
• DETR3D: 利用了3D到2D查询的概念，这与DETR3D的工作方式相呼应，它在多视图图像中实现3D对象检测。
• PyTorch: 底层深度学习框架假设为PyTorch，因为大多数现代的计算机视觉库都基于此。

安装和配置步骤

准备工作

1. 环境准备: 确保你的系统上已安装好Python 3.x版本。

2. 必备库: 使用pip安装基本库。

   pip install mmcv==1.3.14 mmdetection==2.12.0 nuscenes-devkit
   pip install motmetrics==1.1.3  # 注意版本要求，避免使用更新的版本
   

3. 获取MMDetection3D特定版本:

   git clone https://github.com/open-mmlab/mmdetection3d.git mmdetection3d_temp
   cd mmdetection3d_temp
   git checkout v0.13.0
   
   # 替换必要的文件以兼容本项目
   rm -rf mmdet3d/api/
   cp -r /path/to/MUTR3D/mmdet3d/api mmdet3d_temp/mmdet3d/
   cp /path/to/MUTR3D/mmdet3d/models/builder.py mmdetection3d_temp/mmdet3d/models/
   cp /path/to/MUTR3D/mmdet3d/models/detectors/mvx_two_stage.py mmdetection3d_temp/mmdet3d/models/detectors/
   

4. 安装MMDetection3D: 根据mmdetection3d_temp的说明进行安装。

配置MUTR3D

1. 克隆MUTR3D仓库:

   git clone https://github.com/a1600012888/MUTR3D.git
   

2. 环境设置: 确保将MUTR3D提供的API、模型和工具目录集成到刚刚准备的环境中。

3. 数据预处理: 对于nuScenes数据集，遵循mmdetection3d的指示准备后，生成meta文件(pkl格式):

   python3 tools/data_converter/nusc_track.py
   

开始训练

1. 调整配置: 查看plugin/track/configs/resnet101_fpn_3frame.py配置文件，可按需修改。

2. 运行训练: 在拥有8张GPU的情况下执行以下命令：

   CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \
   bash tools/dist_train_tracker.sh plugin/track/configs/resnet101_fpn_3frame.py 8 --work-dir=work_dirs/experiment_name
   

测试与评估

• 执行预测并保存结果：

  python3 tools/test.py plugin/track/configs/resnet101_fpn_3frame.py <path_to_model> --format-only --eval-options jsonfile_prefix=<directory_for_saving_results>
  

• 或者直接进行预测与评估：

  python3 tools/test.py plugin/track/configs/resnet101_fpn_3frame.py <path_to_model> --eval
  

以上就是MUTR3D项目的详细安装与配置流程，适合初学者快速上手。确保在每个步骤中仔细检查版本兼容性和路径正确性，以避免遇到不必要的错误。祝您开发顺利！

MUTR3D Code for Paper, MUTR3D: A Multi-camera Tracking Framework via 3D-to-2D Queries. https://tsinghua-mars-lab.github.io/mutr3d/ 项目地址: https://gitcode.com/gh_mirrors/mu/MUTR3D