初步使用mmdetection3d进行点云目标检测

已于 2024-01-19 15:59:46 修改
阅读量2.6k 收藏 57
点赞数 32
文章标签： 3d 目标检测
于 2023-11-29 00:07:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hyy713/article/details/134679431
版权
本文介绍了如何使用MMDetection3D进行3D目标检测，包括环境设置、项目结构、数据集准备（如KITTI3D下载与预处理）、训练参数调整、单模态和多模态示例以及常见问题解决方案。
摘要由CSDN通过智能技术生成

初步使用mmdetection3d进行点云目标检测

   MMDetection3D 是一个基于 PyTorch 的3D目标检测开源工具箱，涵盖了3D目标检测、单目3D目标检测、多模态3D目标检测、3D语义分割等三维深度学习任务。
MMDetection3D包含的目标检测算法

MMDetection3D中的3D目标检测模型

环境搭建

创建Anaconda虚拟环境

conda create -n mmdet3d python=3.7

进入虚拟环境

安装对应版本的cuda、pytorch、torchvision

安装mmcv-full、MMDection、MMSegmentation

pip install mmcv-full
pip install mmdet
pip install MMSegmentation

克隆MMDection3D代码仓库

git clone https://github.com/open-mmlab/mmdetection3d.git

跳转至代码目录后 安装依赖包

pip install -e .

手动安装无法自动找到的依赖和冲突的依赖

项目结构

在这里插入图片描述
重要文件：

  • configs: 各种模型、数据集的配置参数文件
  • tests: 各个模块组件的单元测试代码
  • data:存放数据集的目录，包括原始数据及预处理后的数据文件
  • mmdet3d: 核心代码
      apis: 一般是 train.py , test.py 等，在最外层的脚本里调用到这里面的文件
      core: 核心代码，常被其他模块调用。
      datasets: 各数据集的定义
      models: 模型相关代码
      utils: 辅助工具
  • tools: 常用脚本
      analysis_tools: 分析工具，包括可视化，计算flops等
      data_converter: 各数据集的预处理转换脚本
      create_data.py: 数据预处理入口
      train.py: 训练脚本
      test.py: 测试脚本

demo测试

单模态

使用预训练好的VoteNet模型进行3D单模态目标检测

python demo/pcd_demo.py demo/data/sunrgbd/000017.bin configs/votenet/votenet_8xb16_gbd-3d.py checkpoints/votenet_16x8_sunrgbd-3d-10class_20210820_162823-bf11f014.pth

测试图片：
在这里插入图片描述
测试结果：
在这里插入图片描述
在这里插入图片描述

多模态

使用预训练好的ImVoteNet模型进行3D多模态目标检测

python demo/multi_modality_demo.py demo/data/sunrgbd/000017.bin demo/data/sunrgbd/000017.jpg demo/data/sunrgbd/sunrgbd_000017_infos.pkl configs/imvotenet/imvotenet_stage2_8xb16_sunrgbd-3d.py checkpoints/imvotenet_stage2_16x8_sunrgbd-3d-10class_20210819_192851-1bcd1b97.pth

在这里插入图片描述

在这里插入图片描述

数据集准备

数据集下载

使用 KITTI 3D 目标检测数据集进行实验
数据集可以直接在官网下载
在这里插入图片描述
图片、激光点云、标注真值、标定参数通过图片序号一一对应
在这里插入图片描述
将下载好的数据集按照如下目录结构导入

mmdetection3d
├── mmdet3d
├── tools
├── configs
├── data
│   ├── kitti
│   │   ├── testing
│   │   │   ├── calib
│   │   │   ├── image_2
│   │   │   ├── velodyne
│   │   ├── training
│   │   │   ├── calib
│   │   │   ├── image_2
│   │   │   ├── label_2
│   │   │   ├── velodyne
│   │   │   ├── planes (optional)

加载点云数据

创建 KITTI 点云数据，首先需要加载原始的点云数据并生成相关的包含目标标签和标注框的数据标注文件，同时还需要为 KITTI 数据集生成每个单独的训练目标的点云数据，并将其存储在 data/kitti/kitti_gt_database 的 .bin 格式的文件中，此外，需要为训练数据或者验证数据生成 .pkl 格式的包含数据信息的文件

按照如下命令创建最终的KITTI数据集：

# 进入mmdetection3d主目录
cd mmdetection3d
# 创建文件夹
mkdir ./data/kitti/ && mkdir ./data/kitti/ImageSets
# Download data split
wget -c  https://raw.githubusercontent.com/traveller59/second.pytorch/master/second/data/ImageSets/test.txt --no-check-certificate --content-disposition -O ./data/kitti/ImageSets/test.txt
wget -c  https://raw.githubusercontent.com/traveller59/second.pytorch/master/second/data/ImageSets/train.txt --no-check-certificate --content-disposition -O ./data/kitti/ImageSets/train.txt
wget -c  https://raw.githubusercontent.com/traveller59/second.pytorch/master/second/data/ImageSets/val.txt --no-check-certificate --content-disposition -O ./data/kitti/ImageSets/val.txt
wget -c  https://raw.githubusercontent.com/traveller59/second.pytorch/master/second/data/ImageSets/trainval.txt --no-check-certificate --content-disposition -O ./data/kitti/ImageSets/trainval.txt
# 使用create_data.py进行数据预处理
python tools/create_data.py kitti --root-path ./data/kitti --out-dir ./data/kitti --extra-tag kitti --with-plane

请添加图片描述

最终数据目录结构如下所示

kitti
├── ImageSets
│   ├── test.txt
│   ├── train.txt
│   ├── trainval.txt
│   ├── val.txt
├── testing
│   ├── calib
│   ├── image_2
│   ├── velodyne
│   ├── velodyne_reduced
├── training
│   ├── calib
│   ├── image_2
│   ├── label_2
│   ├── velodyne
│   ├── velodyne_reduced
│   ├── planes (optional)
├── kitti_gt_database
│   ├── xxxxx.bin
├── kitti_infos_train.pkl
├── kitti_infos_val.pkl
├── kitti_dbinfos_train.pkl
├── kitti_infos_test.pkl
├── kitti_infos_trainval.pkl

训练

数据集和环境都配置好后，就可以开始训练，使用命令python tools/train.py -h可以查看有哪些训练参数：
在这里插入图片描述
关键参数：

  • configs：必选，训练模型的参数配置文件
  • work-dir：可选，训练日志及权重文件保存文件夹，默认会新建work-dirs文件夹，并保存在以configs文件名命名的文件夹中
  • gpu-id：可选，使用的GPU个数

修改训练参数

在/mmdetection3d/configs/pointpillars_hv_secfpn_8xb6-160e_kitti-3d-3class.py文件中，可以修改epoch轮数，学习率等参数
在这里插入图片描述

开始训练

使用以下命令开始训练：
python tools/train.py configs/pointpillars/pointpillars_hv_secfpn_8xb6-160e_kitti-3d-3class.py
在这里插入图片描述
在这里插入图片描述
训练结果会保存在/mmdetection3d/work-dirs/hv_pointpillars_secfpn_6x8_160e_kitti-3d-3class文件夹中，包括日志文件（.log）、权重文件（.pth）以及模型配置文件（.py）等
请添加图片描述

可能遇到的问题

  • torch.cuda.OutOfMemoryError: CUDA out of memory
    减小batch的大小

  • RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR
    可能是pytorch cuda cudnn之间版本匹配问题
    引入如下语句，不使用cudnn加速 看问题是否排除

import torch
torch.backends.cudnn.enabled = False

  还有可能是内存不足等问题

  • OSError: [WinError 1455]
    页面文件太小，无法完成操作，增加页面大小
    在这里插入图片描述

测试

使用命令python tools/test.py -h可以查看有哪些测试参数
在这里插入图片描述
关键参数：

  • config：必选，模型配置文件
  • checkpoint：必选，训练生成的权重文件
  • show：可选，是否对测试结果进行可视化

开始测试

python tools/test.py configs/pointpillars/pointpillars_hv_secfpn_8xb6-160e_kitti-3d-3class.py work_dirs/pointpillars_hv_secfpn_8xb6-160e_kitti-3d-3class/epoch_3.pth
在这里插入图片描述

测试结果

在这里插入图片描述

参考资料

【MMDetection3D】环境搭建，使用PointPillers训练&测试&可视化KITTI数据集

KITTI 3D目标检测数据集解析（完整版）

MMdetection3d环境搭建、使用MMdetection3d做3D目标检测训练自己的数据集、测试、可视化，以及常见的错误

MMdetection3d 安装与 Demo

MMdetection3d 训练与测试

hyy713
关注
【三维目标检测】PointRCNN（一）
叶子的博客
11-01 4425
PointRCNN属于一种两阶段目标检测网络，用于从无序的三维点云中检测出3D目标。由于三维点云空间比二维图像具有更大的搜索空间，两阶段目标检测方法需要进行特殊设计。AVOD在三维空间中放置了80-100K个候选框，并在多个视图下进行特征提取，这使得模型运算量急剧增加。PointRCNN提出了一种自下而上的三维候选框生成方法，首先基于全国场景点云分割生成第一阶段的3D proposals，将候选框与前景点直接关联，从而产生少量且高质量（高召回率）的候选框。
【三维目标检测】PointRCNN（二）
叶子的博客
11-02 4408
本文主要详细介绍PointRCNN网络结构及其运行中间状态。PointRCNN是用于点云三维目标检测模型算法，发表在CVPR2019《PointRCNN: 3D Object Proposal Generation and Detection From Point Cloud》。论文网址为https://arxiv.org/abs/1812.04244。PointRCNN核心思想在于使用点云前景点生成候选框，充分利用了目标点与候选框的关联性。
基于mmdetection3d的单目3D目标检测模型，效果远超CenterNet3D
BluErroR的博客
11-20 1282
基于mmdection3d的单目3d目标检测，使用KITTI数据集。
mmdetection3d:OpenMMLab的下一代通用3D对象检测平台
03-17
新闻：我们发布了代码库v0.11.0。 在最近的 2020第五届AI驾驶奥运会的赛中，我们获得了最佳PKL奖和多模式进入第二名，并且获得了仅有的视觉效果。 代码和模型即将发布！ 文档： : 介绍 English | master分支可与PyTorch 1.3+一起使用。 MMDetection3D是一个基于PyTorch的开源对象检测工具箱，面向用于通用3D检测的下一代平台。 它是MMLab开发的OpenMMLab项目的。 主要特点 开箱即用地支持多模态/单模态检测器 它直接支持多模态/单模态检测器，包括MVXNet，VoteNet，PointPillars等。 支持开箱即用的室内/室外3D检测 它直接支持流行的室内和室外3D检测数据集，包括ScanNet，SUNRGB-D，Waymo，nuScenes，Lyft和KITTI。 对于nuScenes数据集，我们还支持。 与2D
mmlab之mmdet3d(一）
最新发布
weixin_34961608的博客
09-05 891
mmdetection3d 一个开源的3d数据目标检测工具箱，它支持多种主流点云目标检测方法和数据集。本文讲解了环境安装、模型训练（常见问题）、模型评估等完整使用流程。
3d目标检测_MMDetection3D：新一代通用3D目标检测平台
weixin_39851918的博客
11-06 410
伴随着自动驾驶科技的飞速发展和激光雷达的普及，3D目标检测近年来逐渐成为业界和学术界的研究热点。然而，目前在3D目标检测领域却不像2D目标检测那样，有着像MMDetection这样简单通用的代码库和benchmark。所以，我们决定发布MMDetection3D（简称MMDet3D）来弥补这一空白。今天，很高兴MMDetection3D 和大家见面了，希望大家喜欢。太长不看版：MMDetectio...
MMDetection3D使用学习(mmdet v1.1 rc)
Furtherisxgi的博客
04-15 4775
本文所观看视频教程的mmdet3d版本为v1.0.0 rc5,而我使用的是v1.1.0 rc3。v1.0.0 rc5的一些实现可以参考我的另一篇博客基于MMDet3D的pointpillars和centernet推理（mmdet3d v1.0 rc）或者官方文档。本文会记录学习中遇到的问题。视频链接支持点云、视觉、多模态检测算法，支持室内、室外场景的数据集MMDetection3D目前有两个稳定的版本（总共有三个版本）2018-10 发布2022-02 v1.0 rc (统一的坐标系。
基于 mmdetection3D 的点云目标检测
weixin_47104238的博客
12-29 2777
mmdetection3d 是基于 mmdetection 框架的扩展，专注于提供用于 3D 目标检测的工具和模型。它是一个通用的三维检测框架，具有高度的灵活性和模块化设计，能够适应多种三维检测任务，并提供多种现代的 3D 检测算法。PointPillars 是一种针对点云数据的三维目标检测方法。它利用了特定的点云编码和特征提取策略，通过将点云数据转换为二维的特征图表示，然后应用常规的二维目标检测算法来实现三维目标检测。
MMDetection3D：新一代通用3D目标检测平台
3D视觉工坊
08-02 3077
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者：包小张 | 来源：知乎https://zhuanlan.zhihu.com/p/165647329本文仅做学术分享，如有侵权，...
【三维目标检测模型】Group-Free-3D
叶子的博客
08-18 139
Group-Free-3D详细解析，含python源码详细解读。
计算机视觉项目-单目测距 双目测距 3D目标检测 语义分割 姿态识别及姿态估计_基于深度学习 单目图像测距
2401_84003554的博客
05-04 904
金三银四到了，送上一个小福利！任务的效果。金三银四到了，送上一个小福利！[外链图片转存中…(img-S19fhNWy-1714798163671)][外链图片转存中…(img-NRTwmVPn-1714798163672)][外链图片转存中…(img-KlZh5GIt-1714798163672)]本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录。
MMDetection3D对三维数据进行检测
03-28
MMDetection3D是一个基于PyTorch的三维目标检测开源工具包，它针对三维数据中的目标检测任务提供了高效、灵活的解决方案。MMDetection3D支持多种主流的三维检测算法，并提供了丰富的数据集接口和预训练模型，使得用户能够方便地进行三维目标检测的研究和应用。 使用MMDetection3D对三维数据进行检测主要涉及以下几个步骤： 安装和配置MMDetection3D：首先，用户需要按照官方文档或相关教程进行MMDetection3D的安装和配置。这通常包括安装必要的依赖库、设置环境变量以及下载MMDetection3D的代码库。 准备三维数据集：为了进行三维目标检测，用户需要准备一个标注好的三维数据集。数据集应包含三维点云数据（如从激光雷达或深度相机获取）以及对应的目标标注信息，如目标的类别、三维边界框等。MMDetection3D支持多种三维数据格式，用户可以根据需要选择合适的数据格式进行准备。 模型选择和配置：MMDetection3D提供了多种先进的三维目标检测算法，如PointRCNN、VoteNet等。用户可以根据自己的需求选择合适的模型，并通过修改配置文
计算机视觉项目-单目测距 双目测距 3D目标检测 语义分割 姿态识别及姿态估计_基于深度学习 单目图像测距(1)
2401_84003554的博客
05-04 1018
环境搭建：- 安装YOLOv5所需的开发环境，包括Python、PyTorch等依赖库。- 下载并配置YOLOv5模型，准备用于目标检测任务。相机标定：- 对双目相机进行标定以获取相机的内外参数，包括焦距、主点坐标、镜头畸变系数等。- 使用OpenCV的函数进行标定过程，生成相机矩阵和畸变系数。图像校正：- 利用获得的相机参数对原始图像进行畸变校正，消除镜头畸变的影响。双目匹配：- 对校正后的左右图像进行特征匹配，寻找视差图，通过视差计算得到深度信息。
3D目标检测入门-mmdetection3d的环境配置
weixin_51021488的博客
09-02 3952
3d目标检测框架mmdetection3d的安装
【MMDetection3D】基于单目（Monocular）的3D目标检测入门实战
热门推荐
weixin_43799388的博客
10-07 1万+
本文简要介绍单目（仅一个摄像头）3D目标检测算法，并使用MMDetection3D算法库，对KITTI（SMOKE算法）、nuScenes-Mini（FCOS3D、PGD算法）进行训练、测试以及可视化操作。单目3D检测，顾名思义，就是只是用一个摄像头采集图像数据，并将图像作为输入进行检测。
MMdetection3d学习（一）
泽渊的博客
05-29 2592
众所周知，目标检测算法比较复杂，细节比较多，难以复现，而我们推出的 MMDetection 开源框架则希望解决上述问题。目前 MMdetection 已经复现了大部分主流和前沿模型，例如 Faster R-CNN 系列、Mask R-CNN 系列、YOLO 系列和比较新的 DETR 等等，模型库非常丰富，star 接近 13k，在学术研究和工业落地中应用非常广泛。
基于MMDetection3D的Kitti点云目标检测
LrFramework的博客
09-27 226
目标检测是计算机视觉领域的一个重要任务，它的目标是在图像或点云数据中准确地定位和识别出特定类别的目标物体。Kitti数据集是一个广泛用于点云目标检测的基准数据集，其中包含了各种场景下的三维点云数据以及对应的标注信息。综上所述，本文介绍了如何使用MMDetection3D库进行Kitti点云目标检测，并提供了相应的示例代码。需要注意的是，上述代码仅展示了使用MMDetection3D进行Kitti点云目标检测的一个简单示例，实际应用中可能还需要进行数据预处理、后处理等操作，以获得更好的检测效果。
MMDetection3D/3D目标检测中的边界框和坐标系介绍（含相关函数以及坐标变换的介绍）
weixin_45657478的博客
09-21 9204
MMDetection3D的一些函数的介绍和说明
mmdetection3d学习笔记（一）——初识
weixin_63588015的博客
09-06 841
感觉用mmdetection3d这个框架学习3D检测还不错，尝试研究一下结构和代码，在此记录一下。
用mmdetection3d训练自己的数据集
08-13
您可以按照以下步骤使用mmdetection3d训练自己的数据集： 1. 数据准备：首先，您需要准备好自己的数据集。确保您的数据集包含点云数据和对应的标注信息，例如物体的类别、位置和方向等。 2. 配置文件：在mmdetection3d中，训练和测试的配置信息都保存在配置文件中。您可以根据自己的需求创建一个新的配置文件或者修改现有的配置文件。配置文件通常包含模型结构、数据预处理、优化器设置和训练参数等信息。 3. 数据预处理：根据您的数据集格式，您可能需要编写一个数据预处理函数，将数据集转换为mmdetection3d所需的格式。这包括将点云数据转换为Voxel、将标注信息转换为合适的格式等。 4. 训练模型：使用mmdetection3d提供的训练命令来开始训练模型。您需要指定配置文件路径和输出目录等参数。例如，您可以运行以下命令来训练模型： ```shell python tools/train.py ${CONFIG_FILE} --work-dir ${WORK_DIR} ``` 其中`${CONFIG_FILE}`是您的配置文件路径，`${WORK_DIR}`是用于保存训练结果的目录。 5. 测试模型：训练完成后，您可以使用mmdetection3d提供的测试命令来评估训练得到的模型的性能。您同样需要指定配置文件路径和训练好的模型文件路径等参数。例如，您可以运行以下命令来测试模型： ```shell python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} --out ${RESULT_FILE} ``` 其中`${CHECKPOINT_FILE}`是训练好的模型文件路径，`${RESULT_FILE}`是保存测试结果的文件路径。 6. 模型优化和调整：根据测试结果，您可以根据需要对模型进行优化和调整。这可能涉及到修改配置文件、调整训练参数、增加更多数据等。 以上是使用mmdetection3d训练自己的数据集的基本步骤。具体操作细节和参数设置可以参考mmdetection3d的官方文档或示例代码。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值