【3D目标检测】MMdetection3d——nuScenes数据集训练BEVFusion

最新推荐文章于 2024-09-04 22:00:35 发布
置顶 最新推荐文章于 2024-09-04 22:00:35 发布
阅读量805 收藏 11
点赞数 21
文章标签： 目标检测 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44703886/article/details/141460382
版权

引言

MMdetection3d：【3D目标检测】环境搭建（OpenPCDet、MMdetection3d）

MMdetection3d源码地址：https://github.com/open-mmlab/mmdetection3d/tree/main?tab=readme-ov-file

IS-Fusion源码地址：https://github.com/yinjunbo/IS-Fusion

1 MMdetection3d环境搭建

官网教程链接🔗：https://mmdetection3d.readthedocs.io/en/latest/get_started.html
先准备好MMdetection3d的环境：【3D目标检测】环境搭建（OpenPCDet、MMdetection3d）
**直接抄作业安装如下：**

# 0 安装依赖
sudo apt install wget git g++ cmake ffmpeg libsm6 libxext6

# 1 创建虚拟环境
conda create -n mmdet3d python=3.8

# 2 激活虚拟环境
conda activate mmdet3d

# 3 安装torch
pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html

# 4 配置安装mmdetection3d
pip install openmim
# 下载的是mmdet3d是v1.3.0版本
git clone https://github.com/open-mmlab/mmdetection3d.git -b v1.3.0
cd mmdetection3d
# 使用mim可以自动配置mmcv,mmdet,mmengine
mim install -v -e .
# "-v" 指详细说明，或更多的输出
# "-e" 表示在可编辑模式下安装项目，因此对代码所做的任何本地修改都会生效，从而无需重新安装。

# 5 安装 cumm-cuxxx spconv-cuxxx
pip install cumm-cu113
pip install spconv-cu113

# 6 配置 mmdet3d中的BEVFusion
python projects/BEVFusion/setup.py develop
# 或者运行下面2句
# cd projects/BEVFusion
# pip install -v -e .

# 7 安装及查看相关库的版本
## 7.1 openlab相关库安装
mim install mmcv==2.1.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
mim install mmdet==3.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
mim install mmdet3d==1.3.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
mim install mmengine==0.10.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
## 7.2 openlab相关库版本
mim list
# 终端显示如下
mmcv       2.1.0      https://github.com/open-mmlab/mmcv
mmdet      3.2.0      https://github.com/open-mmlab/mmdetection
mmdet3d    1.3.0      /root/share/code/mmdetection3d
mmengine   0.10.1     https://github.com/open-mmlab/mmengine

## 7.2 torch相关库版本
pip list | grep torch
# 终端显示如下
torch                     1.10.0+cu113
torchaudio                0.10.0+rocm4.1
torchvision               0.11.0+cu113

2 nuScenes数据集准备

数据集下载参考🔗【3D目标检测】OpenPCDet——nuScenes数据集训练BEVFusion/TransFusion_L
可以使用软连接将数据集链接到mmdetection3d/data文件夹下

ln -s /opt/data/DATASETS/nuscenes /opt/data/CNN_3D/mmdetection3d/data

├── data
│   ├── nuscenes
│   │   │── v1.0-trainval (or v1.0-mini if you use mini)
│   │   │   │── samples
│   │   │   │── sweeps
│   │   │   │── maps
│   │   │   │── v1.0-trainval

重要！！！！！！
如果是nuscenes-mini数据集,需要修改文件
mmdet3d/datasets/nuscenes_dataset.py文件中的v1.0-trainval改成v1.0-mini即可
nuscenes-full无需修改，如下图所示：
在这里插入图片描述
生成pkl格式的数据集

cd ./mmdetection3d/tools
python create_data.py nuscenes --root-path ./data/nuscenes/v1.0-mini --out-dir ./data/nuscenes/v1.0-mini --extra-tag nuscenes --version v1.0-mini

或者直接修改create_data.py对应的输入参数，如下图所示：
在这里插入图片描述
注意：修改./mmdetection3d/tools/dataset_converters/update_infos_to_v2.py文件
dataroot = out_dir
在这里插入图片描述
否则会报错如下：
在这里插入图片描述
或者直接在终端运行：

python create_data.py nuscenes

成功生成标准数据显示如下：
在这里插入图片描述
运行完后 data/nuscenes目录如下所示：

nuscenes
    ├── v1.0-mini
	    ├── maps
	    ├── nuscenes_dbinfos_train.pkl   # 新生成的文件
	    ├── nuscenes_gt_database         # 新生成的目录
	    ├── nuscenes_infos_train.pkl     # 新生成的文件
	    ├── nuscenes_infos_val.pkl       # 新生成的文件
	    ├── samples
	    ├── sweeps
	    └── v1.0-mini

3 BEVFusion

3.1 训练

复制一份配置文件projects/BEVFusion/configs/bevfusion_lidar_voxel0075_second_secfpn_8xb4-cyclic-20e_nus-3d.py重命名为bevfusion_lidar.py

1. 只训练lidar数据集

# 配置文件中的max_epochs=2, batch_size=1, num_workers=0
# 上面三个参数按需更改，前期测试环境是否正常,可以按上面数字设置
bash tools/dist_train.sh projects/BEVFusion/configs/bevfusion_lidar.py 1
'''
正常训练时，终端会打印信息如下：
...
12/13 17:56:37 - mmengine - INFO - Epoch(train) [1][150/408]  lr: 1.0551e-04  eta: 0:38:26  time: 0.9984  
data_time: 0.0137  memory: 21795  grad_norm: 16.1443  loss: 12.3859  loss_heatmap: 2.6139  
layer_-1_loss_cls: 3.9985  layer_-1_loss_bbox: 5.7735  matched_ious: 0.0343
'''

配置如图：
在这里插入图片描述
成功训练如图：
在这里插入图片描述
2. lidar和相机数据共同训练

## 2.1 预训练权重
# 因为图像特征提取层配置的swin-transform需要下载预训练权重, 如果网络出问题, 可以加上代码下载即可
# 在bevfusion_lidar-cam.py配置文件全局搜索https://github.com,并在该地址前面加上https://mirror.ghproxy.com/即可

## 2.2 训练
# bevfusion_lidar-cam.py配置文件是继承bevfusion_lidar.py所以batch_size,num_workers需要在bevfusion_lidar.py中修改

### 2.2.1分布式训练
bash tools/dist_train.sh projects/BEVFusion/configs/bevfusion_lidar-cam.py 1

### 2.2.2 单步训练 加载数据时比较慢，不是卡住了,只要报错和卡住就等着
python tools/train.py projects/BEVFusion/configs/bevfusion_lidar-cam.py

配置如下图：
在这里插入图片描述
训练成功如图：
在这里插入图片描述

训练完成结果(权重，配置文件，log，vis_data)后会保存在work_dirs目录下
官方提供了训练好的权重, 参考BEVFusion model
图像预训练权重：Swin pre-trained model

3.2 测试

bash tools/dist_test.sh work_dirs/bevfusion_lidar-cam/bevfusion_lidar-cam.py work_dirs/bevfusion_lidar-cam/epoch_2.pth 1

3.3 可视化

python projects/BEVFusion/demo/multi_modality_demo.py demo/data/nuscenes/n015-2018-07-24-11-22-45+0800__LIDAR_TOP__1532402927647951.pcd.bin demo/data/nuscenes/ demo/data/nuscenes/n015-2018-07-24-11-22-45+0800.pkl  work_dirs/bevfusion_lidar-cam/bevfusion_lidar-cam.py work_dirs/bevfusion_lidar-cam/epoch_6.pth --cam-type all --score-thr 0.2 --show

可视化结果如下：
在这里插入图片描述
在这里插入图片描述

摇曳的树
关注
  • 21
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mmdetection3d nuScenes （持续更新）
叶子的博客
12-01 4789
Mmdetection3d集成了大量3D深度学习算法，其中很大一部分可以在智能驾驶nuScenes数据集上运行。在算法应用nuScenes数据之前，mmdetection3d提供了相应的预处理程序。关于nuScenes的详细介绍请参考本博客之前的文章。部分介绍内容会持续更新和补充。
MMDetection3D对三维数据进行检测
03-28
MMDetection3D支持多种主流的三维检测算法，并提供了丰富的数据集接口和预训练模型，使得用户能够方便地进行三维目标检测的研究和应用。 使用MMDetection3D对三维数据进行检测主要涉及以下几个步骤： 安装和配置MM...
MMDetection3D雷达点云数据训练框架
qq_42835363的博客
12-08 1389
MMDetection3D 支持任务：点云 3D 检测、单目 3D 检测、多模态 3D 检测和点云 3D 语义分割等。 3D 目标检测按照输入数据模态划分可以分为： ① 点云 3D 检测 ② 纯视觉 3D 检测 ③ 多模态 3D 检测（点云+图片）。
恒源云平台使用教程-OCC-for-NUS程序为例
weixin_46669262的博客
04-25 909
根据实际需求，选择合适的显卡数目、型号、Pytorch版本，Python版本等。
【3D目标检测】OpenPCDet——nuScenes数据集训练BEVFusion/TransFusion_L
qq_44703886的博客
08-22 811
OpenPCDet——nuScenes数据集训练BEVFusion/TransFusion_L
【mmdetection3d】——3D 目标检测 NuScenes 数据集
热门推荐
m0_45388819的博客
11-08 1万+
3D 目标检测 NuScenes 数据集 本页提供了有关在 MMDetection3D 中使用 nuScenes 数据集的具体教程。 准备之前 您可以在这里下载 nuScenes 3D 检测数据并解压缩所有 zip 文件。 像准备数据集的一般方法一样，建议将数据集根目录软链接到 $MMDETECTION3D/data。 在我们处理之前，文件夹结构应按如下方式组织。 mmdetection3d ├── mmdet3d ├── tools ├── configs ├── data │ ├── nuscene
【mmdetection3d】——3D 目标检测 KITTI 数据集
m0_45388819的博客
11-08 4784
3D 目标检测 KITTI 数据集 本页提供了有关在 MMDetection3D 中使用 KITTI 数据集的具体教程。 注意：此教程目前仅适用于基于雷达和多模态的 3D 目标检测的相关方法，与基于单目图像的 3D 目标检测相关的内容会在之后进行补充。 数据准备 您可以在这里下载 KITTI 3D 检测数据并解压缩所有 zip 文件。 像准备数据集的一般方法一样，建议将数据集根目录链接到 $MMDETECTION3D/data。 在我们处理之前，文件夹结构应按如下方式组织： mmdetection3d ├─
nuScenes数据集及mmdetection3d中的相关处理
古月居
08-05 902
nuScence数据集共有5类坐标系，定义分别如下：注：全局坐标系的原点位于该场景地图左上角（该信息对可视化有帮助）。nuScenes同时也提供了各传感器与自车坐标系、自车坐标系与全局坐标系之间的坐标平移矩阵与旋转矩阵（四元数表达），以及各相机的内参矩阵。
3D目标检测框架 MMDetection3D环境搭建 docker篇
黎国溥
09-16 1466
本文介绍如何搭建3D目标检测框架，使用docker快速搭建MMDetection3D的开发环境，实现视觉3D目标检测、点云3D目标检测、多模态3D目标检测等等。需要大家提前安装好docker，并且docker版本>= 19.03。
YOLO行人目标检测数据集dataset2 YOLO-People-Detection-Dataset-2.zip
08-05
3000多张YOLO行人目标检测数据集dataset2，数据集目录已经配置好，划分好 train，val, test，并附有data.yaml文件，yolov5、yolov7、yolov8等算法可以直接进行训练模型， 数据集和检测结果参考：...
Datawhale X 李宏毅苹果书AI夏令营 学习笔记
m0_61049596的博客
08-31 930
今天，我继续学习了深度学习中的优化算法，并且着重理解了如何利用。等高级优化器来提高模型训练的效率和效果。2024年8月30日。
如何开发主播美颜工具？直播美颜SDK的实现方案
q1031691172的博客
09-04 108
由于直播场景对实时性要求极高，因此性能优化是美颜SDK开发的关键。开发者可以通过减少计算复杂度、优化算法效率、利用硬件加速等手段来提升性能。同时，还需在不同设备和操作系统上进行兼容性测试，确保SDK的广泛适用性。
YOLOV5入门教程-yolov5s.yaml文件
vimpirespider的博客
09-04 556
这段backbone共有9个层次，每个层次逐步提取图像特征并下采样。最后输出的特征图尺寸为40x40，通道数为1024。这个特征图包含了从输入图像中提取到的高层次特征，准备在后续的网络层中用于目标检测。
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 3928
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
智能化升级：AI在客服知识库中的应用
LookLook同学的博客
09-03 908
探讨AI在客服知识库中的应用，提升效率与用户体验。
机器学习：opencv图像识别--图片运算、边界、阈值处理、平滑处理
最新发布
纸上得来终觉浅
09-04 570
opencv图像识别--图片运算、边界、阈值处理、平滑处理
设备上的实时自定义手势识别
bit_mike的博客
08-31 1050
这篇论文的标题是《On-device Real-time Custom Hand Gesture Recognition》，主要研究了如何在移动设备上实时识别自定义手势。论文的重点在于提出了一种新的框架，使得用户可以自定义手势识别流程，并且通过预训练模型和少量的训练数据来实现高准确率的手势识别，这对于AR、VR等领域具有重要的应用价值。
您应该使用哪个矢量数据库？ 选择最适合您需求的数据库
weixin_41446370的博客
09-01 1449
在现实世界中，并非所有数据都能整齐地排列成行和列。在处理复杂的非结构化数据（如图像、视频和自然语言）时尤其如此。矢量数据库是一种以高维矢量形式存储数据的数据库，本质上是代表对象特征或特性的数字列表。每个矢量对应一个独特的实体，如一段文本、图像或视频。但为什么要使用矢量呢？奥妙就在于它能够捕捉语义和相似性。通过将数据表示为向量，我们可以对它们进行数学比较，并确定它们的相似或不相似程度。这使我们能够执行复杂的查询，如 "为我查找与此相似的图片 "或 “检索与此文本语义相关的文档”。
用mmdetection3d训练自己的数据集
08-13
您可以按照以下步骤使用mmdetection3d训练自己的数据集： 1. 数据准备：首先，您需要准备好自己的数据集。确保您的数据集包含点云数据和对应的标注信息，例如物体的类别、位置和方向等。 2. 配置文件：在mmdetection3d中，训练和测试的配置信息都保存在配置文件中。您可以根据自己的需求创建一个新的配置文件或者修改现有的配置文件。配置文件通常包含模型结构、数据预处理、优化器设置和训练参数等信息。 3. 数据预处理：根据您的数据集格式，您可能需要编写一个数据预处理函数，将数据集转换为mmdetection3d所需的格式。这包括将点云数据转换为Voxel、将标注信息转换为合适的格式等。 4. 训练模型：使用mmdetection3d提供的训练命令来开始训练模型。您需要指定配置文件路径和输出目录等参数。例如，您可以运行以下命令来训练模型： ```shell python tools/train.py ${CONFIG_FILE} --work-dir ${WORK_DIR} ``` 其中`${CONFIG_FILE}`是您的配置文件路径，`${WORK_DIR}`是用于保存训练结果的目录。 5. 测试模型：训练完成后，您可以使用mmdetection3d提供的测试命令来评估训练得到的模型的性能。您同样需要指定配置文件路径和训练好的模型文件路径等参数。例如，您可以运行以下命令来测试模型： ```shell python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} --out ${RESULT_FILE} ``` 其中`${CHECKPOINT_FILE}`是训练好的模型文件路径，`${RESULT_FILE}`是保存测试结果的文件路径。 6. 模型优化和调整：根据测试结果，您可以根据需要对模型进行优化和调整。这可能涉及到修改配置文件、调整训练参数、增加更多数据等。 以上是使用mmdetection3d训练自己的数据集的基本步骤。具体操作细节和参数设置可以参考mmdetection3d的官方文档或示例代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值