初步使用mmdetection3d进行点云目标检测

已于 2024-01-19 15:59:46 修改
阅读量2k 收藏 48
点赞数 29
文章标签： 3d 目标检测
于 2023-11-29 00:07:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hyy713/article/details/134679431
版权

初步使用mmdetection3d进行点云目标检测

   MMDetection3D 是一个基于 PyTorch 的3D目标检测开源工具箱，涵盖了3D目标检测、单目3D目标检测、多模态3D目标检测、3D语义分割等三维深度学习任务。
MMDetection3D包含的目标检测算法

MMDetection3D中的3D目标检测模型

环境搭建

创建Anaconda虚拟环境

conda create -n mmdet3d python=3.7

进入虚拟环境

安装对应版本的cuda、pytorch、torchvision

安装mmcv-full、MMDection、MMSegmentation

pip install mmcv-full
pip install mmdet
pip install MMSegmentation

克隆MMDection3D代码仓库

git clone https://github.com/open-mmlab/mmdetection3d.git

跳转至代码目录后 安装依赖包

pip install -e .

手动安装无法自动找到的依赖和冲突的依赖

项目结构

在这里插入图片描述
重要文件：

  • configs: 各种模型、数据集的配置参数文件
  • tests: 各个模块组件的单元测试代码
  • data:存放数据集的目录，包括原始数据及预处理后的数据文件
  • mmdet3d: 核心代码
      apis: 一般是 train.py , test.py 等，在最外层的脚本里调用到这里面的文件
      core: 核心代码，常被其他模块调用。
      datasets: 各数据集的定义
      models: 模型相关代码
      utils: 辅助工具
  • tools: 常用脚本
      analysis_tools: 分析工具，包括可视化，计算flops等
      data_converter: 各数据集的预处理转换脚本
      create_data.py: 数据预处理入口
      train.py: 训练脚本
      test.py: 测试脚本

demo测试

单模态

使用预训练好的VoteNet模型进行3D单模态目标检测

python demo/pcd_demo.py demo/data/sunrgbd/000017.bin configs/votenet/votenet_8xb16_gbd-3d.py checkpoints/votenet_16x8_sunrgbd-3d-10class_20210820_162823-bf11f014.pth

测试图片：
在这里插入图片描述
测试结果：
在这里插入图片描述
在这里插入图片描述

多模态

使用预训练好的ImVoteNet模型进行3D多模态目标检测

python demo/multi_modality_demo.py demo/data/sunrgbd/000017.bin demo/data/sunrgbd/000017.jpg demo/data/sunrgbd/sunrgbd_000017_infos.pkl configs/imvotenet/imvotenet_stage2_8xb16_sunrgbd-3d.py checkpoints/imvotenet_stage2_16x8_sunrgbd-3d-10class_20210819_192851-1bcd1b97.pth

在这里插入图片描述

在这里插入图片描述

数据集准备

数据集下载

使用 KITTI 3D 目标检测数据集进行实验
数据集可以直接在官网下载
在这里插入图片描述
图片、激光点云、标注真值、标定参数通过图片序号一一对应
在这里插入图片描述
将下载好的数据集按照如下目录结构导入

mmdetection3d
├── mmdet3d
├── tools
├── configs
├── data
│   ├── kitti
│   │   ├── testing
│   │   │   ├── calib
│   │   │   ├── image_2
│   │   │   ├── velodyne
│   │   ├── training
│   │   │   ├── calib
│   │   │   ├── image_2
│   │   │   ├── label_2
│   │   │   ├── velodyne
│   │   │   ├── planes (optional)

加载点云数据

创建 KITTI 点云数据，首先需要加载原始的点云数据并生成相关的包含目标标签和标注框的数据标注文件，同时还需要为 KITTI 数据集生成每个单独的训练目标的点云数据，并将其存储在 data/kitti/kitti_gt_database 的 .bin 格式的文件中，此外，需要为训练数据或者验证数据生成 .pkl 格式的包含数据信息的文件

按照如下命令创建最终的KITTI数据集：

# 进入mmdetection3d主目录
cd mmdetection3d
# 创建文件夹
mkdir ./data/kitti/ && mkdir ./data/kitti/ImageSets
# Download data split
wget -c  https://raw.githubusercontent.com/traveller59/second.pytorch/master/second/data/ImageSets/test.txt --no-check-certificate --content-disposition -O ./data/kitti/ImageSets/test.txt
wget -c  https://raw.githubusercontent.com/traveller59/second.pytorch/master/second/data/ImageSets/train.txt --no-check-certificate --content-disposition -O ./data/kitti/ImageSets/train.txt
wget -c  https://raw.githubusercontent.com/traveller59/second.pytorch/master/second/data/ImageSets/val.txt --no-check-certificate --content-disposition -O ./data/kitti/ImageSets/val.txt
wget -c  https://raw.githubusercontent.com/traveller59/second.pytorch/master/second/data/ImageSets/trainval.txt --no-check-certificate --content-disposition -O ./data/kitti/ImageSets/trainval.txt
# 使用create_data.py进行数据预处理
python tools/create_data.py kitti --root-path ./data/kitti --out-dir ./data/kitti --extra-tag kitti --with-plane

请添加图片描述

最终数据目录结构如下所示

kitti
├── ImageSets
│   ├── test.txt
│   ├── train.txt
│   ├── trainval.txt
│   ├── val.txt
├── testing
│   ├── calib
│   ├── image_2
│   ├── velodyne
│   ├── velodyne_reduced
├── training
│   ├── calib
│   ├── image_2
│   ├── label_2
│   ├── velodyne
│   ├── velodyne_reduced
│   ├── planes (optional)
├── kitti_gt_database
│   ├── xxxxx.bin
├── kitti_infos_train.pkl
├── kitti_infos_val.pkl
├── kitti_dbinfos_train.pkl
├── kitti_infos_test.pkl
├── kitti_infos_trainval.pkl

训练

数据集和环境都配置好后，就可以开始训练，使用命令python tools/train.py -h可以查看有哪些训练参数：
在这里插入图片描述
关键参数：

  • configs：必选，训练模型的参数配置文件
  • work-dir：可选，训练日志及权重文件保存文件夹，默认会新建work-dirs文件夹，并保存在以configs文件名命名的文件夹中
  • gpu-id：可选，使用的GPU个数

修改训练参数

在/mmdetection3d/configs/pointpillars_hv_secfpn_8xb6-160e_kitti-3d-3class.py文件中，可以修改epoch轮数，学习率等参数
在这里插入图片描述

开始训练

使用以下命令开始训练：
python tools/train.py configs/pointpillars/pointpillars_hv_secfpn_8xb6-160e_kitti-3d-3class.py
在这里插入图片描述
在这里插入图片描述
训练结果会保存在/mmdetection3d/work-dirs/hv_pointpillars_secfpn_6x8_160e_kitti-3d-3class文件夹中，包括日志文件（.log）、权重文件（.pth）以及模型配置文件（.py）等
请添加图片描述

可能遇到的问题

  • torch.cuda.OutOfMemoryError: CUDA out of memory
    减小batch的大小

  • RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR
    可能是pytorch cuda cudnn之间版本匹配问题
    引入如下语句，不使用cudnn加速 看问题是否排除

import torch
torch.backends.cudnn.enabled = False

  还有可能是内存不足等问题

  • OSError: [WinError 1455]
    页面文件太小，无法完成操作，增加页面大小
    在这里插入图片描述

测试

使用命令python tools/test.py -h可以查看有哪些测试参数
在这里插入图片描述
关键参数：

  • config：必选，模型配置文件
  • checkpoint：必选，训练生成的权重文件
  • show：可选，是否对测试结果进行可视化

开始测试

python tools/test.py configs/pointpillars/pointpillars_hv_secfpn_8xb6-160e_kitti-3d-3class.py work_dirs/pointpillars_hv_secfpn_8xb6-160e_kitti-3d-3class/epoch_3.pth
在这里插入图片描述

测试结果

在这里插入图片描述

参考资料

【MMDetection3D】环境搭建，使用PointPillers训练&测试&可视化KITTI数据集

KITTI 3D目标检测数据集解析（完整版）

MMdetection3d环境搭建、使用MMdetection3d做3D目标检测训练自己的数据集、测试、可视化，以及常见的错误

MMdetection3d 安装与 Demo

MMdetection3d 训练与测试

hyy713
关注
  • 29
    点赞
  • 踩
  • 48
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
MMDetection3D对三维数据进行检测
03-28
MMDetection3D是一个基于PyTorch的三维目标检测开源工具包，它针对三维数据中的目标检测任务提供了高效、灵活的解决方案。MMDetection3D支持多种主流的三维检测算法，并提供了丰富的数据集接口和预训练模型，使得用户能够方便地进行三维目标检测的研究和应用。 使用MMDetection3D对三维数据进行检测主要涉及以下几个步骤： 安装和配置MMDetection3D：首先，用户需要按照官方文档或相关教程进行MMDetection3D的安装和配置。这通常包括安装必要的依赖库、设置环境变量以及下载MMDetection3D的代码库。 准备三维数据集：为了进行三维目标检测，用户需要准备一个标注好的三维数据集。数据集应包含三维点云数据（如从激光雷达或深度相机获取）以及对应的目标标注信息，如目标的类别、三维边界框等。MMDetection3D支持多种三维数据格式，用户可以根据需要选择合适的数据格式进行准备。 模型选择和配置：MMDetection3D提供了多种先进的三维目标检测算法，如PointRCNN、VoteNet等。用户可以根据自己的需求选择合适的模型，并通过修改配置文
【MMDetection3D实战4】利用mmdet3d进行训练
@bangbang的博客
03-14 1899
MMDetection3D(mmdet3d)和OpenMMlab其他代码库是一样的，在训练的时候需要准备好一个配置文件，在配置文件中定义好所使用的数据模型优化器和一系列参数，对于单GPU我们可以使用启动训练。因为mmdet3d提供了一系列标准的配置文件，通常情况下我们只需要继承这些标准配置文件，然后做一些简单的修改就可以。这些修改包括(数据路径、训练参数相关的修改注意的是，即便我们用的是标准的kitti数据集，在训练前我们还是需要利用mmdet3d提供的工具处理下数据，将零散的标注数据。
jetson平台安装MMDetection3D详细教程 Failed to load image Python extension 疑难处理
最新发布
qq_38418182的博客
05-17 858
虽然MMDeploy有官方的详细安装教程，但是对jetson平台的兼容性感觉不好，按照教程安装仍会报错，因此单独整理一般无差的安装步骤。
mmdetection3d分布式训练（多卡训练）
weixin_45657478的博客
01-28 1534
mmdetection3d分布式训练（多卡训练）
mmdet3d预训练模型
08-30
mmdet3d预训练模型
MMdetection3d学习（一）
泽渊的博客
05-29 1855
众所周知，目标检测算法比较复杂，细节比较多，难以复现，而我们推出的 MMDetection 开源框架则希望解决上述问题。目前 MMdetection 已经复现了大部分主流和前沿模型，例如 Faster R-CNN 系列、Mask R-CNN 系列、YOLO 系列和比较新的 DETR 等等，模型库非常丰富，star 接近 13k，在学术研究和工业落地中应用非常广泛。
MMDetection3D使用学习(mmdet v1.1 rc)
Furtherisxgi的博客
04-15 4373
本文所观看视频教程的mmdet3d版本为v1.0.0 rc5,而我使用的是v1.1.0 rc3。v1.0.0 rc5的一些实现可以参考我的另一篇博客基于MMDet3D的pointpillars和centernet推理（mmdet3d v1.0 rc）或者官方文档。本文会记录学习中遇到的问题。视频链接支持点云、视觉、多模态检测算法，支持室内、室外场景的数据集MMDetection3D目前有两个稳定的版本（总共有三个版本）2018-10 发布2022-02 v1.0 rc (统一的坐标系。
【MMDetection3D】基于单目（Monocular）的3D目标检测入门实战
weixin_43799388的博客
10-07 9192
本文简要介绍单目（仅一个摄像头）3D目标检测算法，并使用MMDetection3D算法库，对KITTI（SMOKE算法）、nuScenes-Mini（FCOS3D、PGD算法）进行训练、测试以及可视化操作。单目3D检测，顾名思义，就是只是用一个摄像头采集图像数据，并将图像作为输入进行检测。
【利用MMdetection3D框架进行单目3D目标检测（smoke算法】
qq_51182466的博客
03-06 1988
mmdetection3d是OpenMMLab开发的3D目标检测开源工具箱，里面包含了许多经典的3D目标检测算法，包含了单目3D目标检测、多目3D目标检测、点云3D目标检测、多模态3D目标检测等各个方向。我们只需要把相应的算法权重下载下来，并调用相应接口即可进行检测。若下载速度很慢的话，可以在命令行后面加上 -i https://pypi.tuna.tsinghua.edu.cn/simple。若已安装cuda11.0，则可以按照下面方法安装：(不是CUDA11.0的话参考。通过清华源下载速度有很大提升。
MMDetection对图片进行目标检测
03-28
使用MMDetection对图片进行目标检测主要涉及以下几个步骤： 安装和配置MMDetection：首先，用户需要从GitHub等源获取MMDetection的代码，并按照官方文档或相关教程进行安装和配置。这通常包括安装必要的依赖库、...
使用 TensorFlow Object Detection API 进行实时目标检测
02-08
本篇将深入探讨如何利用 TensorFlow Object Detection API 实现基于 SSD（Single Shot Multibox Detector）模型的实时目标检测。 **1. TensorFlow Object Detection API 简介** TensorFlow Object Detection API 是...
目标检测+深度学习+mmdetection+框架源码
02-08
本篇文章将详细探讨MMDetection框架，以及如何利用其进行深度学习目标检测。 **MMDetection框架概述** MMDetection是由阿里云魔搭团队开发的一个开源目标检测框架，基于Python和PyTorch实现。它集成了多种先进的...
目标检测YOLO实战应用案例-基于点云数据的3D目标检测与跟踪
04-15
在本文中，我们将深入探讨一个基于点云数据的3D目标检测与跟踪的实际应用案例，该案例使用了著名的YOLO（You Only Look Once）算法。YOLO作为一种实时目标检测系统，以其高效和准确的特性在计算机视觉领域备受青睐。...
【AI框架】MMDetection3D 使用指南
白拾的博客
03-22 6275
MMDetection3D 是一个基于 PyTorch 的目标检测开源工具箱, 下一代面向3D检测的平台 对安装 MMDetection3D有问题的同学可以看：【星光02】MMDetection3D 目标检测框架的 Docker 环境制作和改良 ✨本文结合官方文档，梳理了基于 mmdet3d 开发人工智能模型的基本流程，整理相关的代码和小工具。如遇任何问题，可以查阅官方文档，MMDetection3D 的官方文档还是写得很好的（就是有一些多模态的代码跑不通，本文会注释部分问题命令） 文章目录一、数据预处.
【mmdetection3d】mmdetection3d安装详细步骤
叶子的博客
06-07 9043
【mmdetection3d】mmdetection3d安装详细步骤
mmdetection3d 训练
叶子的博客
06-14 6979
mmdetection3d 训练 ​ 本节以SECOND算法为例，简要介绍mmdetection3d second算法训练过程，含数据和python源码详细介绍。 1 mmdetection3d环境安装 mmdetection3d环境详细安装和调试请参考：【mmdetection3d】mmdetection3d安装详细步骤_Coding的叶子的博客-CSDN博客。 2 KITTI数据集准备 mmdetection3d的kitti原始数据集主要由三部份组成，......
基于mmdetection3d的单目3D目标检测模型，效果远超CenterNet3D
BluErroR的博客
11-20 964
基于mmdection3d的单目3d目标检测，使用KITTI数据集。
零基础熟悉mmdetection3d数据提取、模型搭建过程
豆奶泡油条
03-01 4615
本图文从介绍配置文件开始，逐步构建一个新的配置文件，并依次构建相关模型，最终使用一条点云数据简单走了一下处理流程
3D目标检测入门-mmdetection3d的环境配置
weixin_51021488的博客
09-02 3099
3d目标检测框架mmdetection3d的安装
mmdetection 3D
09-15
MMDetection3D是一个基于PyTorch的开源对象检测工具箱，专注于通用3D检测任务。它是MMLab开发的OpenMMLab项目的一部分。MMDetection3D具有以下特点： - 开箱即用地支持多模态/单模态检测器，包括MVXNet等。 - 提供了丰富的预训练模型和配置文件，可用于各种3D检测任务。 - 支持多种数据集，包括KITTI、SUN RGB-D、ScanNet等。 - 提供了一套完整的工具和API，方便用户进行模型训练、评估和推理。 - 拥有活跃的社区和开发团队，提供持续的更新和支持。 如果你想使用MMDetection3D，可以按照官方文档进行环境配置和安装，并参考已有的示例代码和配置文件。你也可以从官方仓库中下载预训练模型和配置文件，以及执行各种3D检测任务。 希望这个回答可以帮助到你，如果你有其他问题，请随时提问！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值