毫米波雷达点云SLAM系统

于 2025-05-11 16:50:13 发布
阅读量737 收藏 22
点赞数 24
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61057267/article/details/147875331
版权

毫米波雷达点云SLAM系统

基于毫米波雷达点云数据的三维SLAM(同步定位与建图)系统，用于狭窄环境如室内和地下隧道的三维建图。

项目概述

本项目实现了一个完整的SLAM系统，利用毫米波雷达采集的点云数据进行实时定位和环境三维重建。系统特别针对狭窄空间环境进行了优化，适用于GPS信号不可用的室内和地下场景。

主要功能

  • 毫米波雷达点云数据预处理与滤波
  • 特征提取与匹配
  • 点云配准与位姿估计
  • 回环检测
  • 全局优化
  • 三维环境重建与可视化

技术特点

  • 基于因子图优化的SLAM框架
  • 针对稀疏点云的特征提取算法
  • 改进的ICP(迭代最近点)算法用于点云配准
  • 轻量级回环检测
  • 分层式地图表示

依赖环境

  • Python 3.8+（兼容至Python 3.11）
  • 相关依赖库（见requirements.txt）

安装与设置

安装项目依赖：

# 创建虚拟环境
python3 -m venv venv_slam
source venv_slam/bin/activate  # Linux/Mac
# 或者
venv_slam\\Scripts\\activate  # Windows

# 安装依赖
pip install -r requirements.txt

Open3D可视化依赖

Open3D需要特定的图形驱动支持以启用可视化功能。以下是不同系统的设置指南：

Linux (Ubuntu/Debian)
# 安装OpenGL库和X11支持
sudo apt-get update
sudo apt-get install -y libgl1-mesa-dev libgl1-mesa-glx xvfb
macOS
# 确保已安装XQuartz (X11)
brew install --cask xquartz
Windows

确保已安装最新的图形驱动程序，可从显卡制造商网站下载:

  • NVIDIA: https://www.nvidia.com/Download/index.aspx
  • AMD: https://www.amd.com/en/support
  • Intel: https://www.intel.com/content/www/us/en/download-center/home.html

使用方法

  1. 运行测试：

    python src/main.py --test

    可选参数：

    • --headless: 在无头模式下运行，不显示可视化界面，但会保存帧图像
    • --config: 指定自定义配置文件路径
    • --save_frames: 保存可视化帧为图像序列

  2. 处理实际数据：

    python src/main.py --config config/default.yaml

  3. 数据采集（使用实际雷达设备）：

    python src/data_collection.py --output data/input --device /dev/ttyUSB0

  4. 离线可视化：

    python src/visualization/visualization.py --map_path results/map_TIMESTAMP.pcd --trajectory_path results/trajectory_TIMESTAMP.txt

无图形界面环境下的使用

在服务器或无图形环境下运行时，应使用以下命令：

# 使用headless模式并保存帧图像
python src/main.py --test --headless --save_frames

图像将保存在results/frames/目录下，可在离线环境中查看。

如果仍然遇到OpenGL相关错误，可以尝试：

  1. 在Linux系统上使用Xvfb创建虚拟显示：

    xvfb-run -a python src/main.py --test --headless

  2. 或者使用Mesa软件渲染：

    LIBGL_ALWAYS_SOFTWARE=1 python src/main.py --test --headless

  3. 通过SSH连接时，可能需要禁用X11转发：

    ssh -X user@server
export DISPLAY=:0
python src/main.py --test --headless --save_frames

离线渲染设置

系统支持通过配置文件调整离线渲染参数，在config/default.yaml中的offline_rendering部分：

offline_rendering:
  background_color: [0.1, 0.1, 0.1]  # 背景颜色
  enabled: true                       # 是否启用离线渲染
  frame_rate: 30                     # 帧率
  output_dir: frames                 # 输出目录名称
  quality: high                      # 渲染质量
  resolution:                        # 渲染分辨率
    width: 1280
    height: 720
  save_frames: true                  # 是否保存帧
  save_interval: 10                  # 保存间隔（每n帧保存一次）
  camera:                            # 相机设置
    fov: 60.0                        # 视场角
    zoom: 0.7                        # 缩放
    position_offset:                 # 相机位置偏移
      back: 5.0                      # 向后偏移
      up: 3.0                        # 向上偏移

系统架构

该系统由以下核心模块组成：

  1. 预处理模块：对原始点云数据进行滤波、降采样和边缘提取
  2. 特征提取模块：使用ISS关键点检测代替Harris 3D提取稳定特征点
  3. 点云配准模块：实现帧间配准和位姿估计
  4. 回环检测模块：基于扫描上下文特征进行回环检测
  5. 图优化模块：基于g2o实现的位姿图优化
  6. 建图模块：构建和维护全局点云地图
  7. 可视化模块：实时显示SLAM过程和结果，支持离线渲染

配置文件说明

系统采用YAML格式的配置文件，可在config/default.yaml中调整各项参数：

  • 数据路径配置
  • 预处理参数
  • 特征提取参数
  • 点云配准参数
  • 回环检测参数
  • 优化参数
  • 建图参数
  • 可视化参数
  • 离线渲染参数

结果输出

系统输出结果将保存在results/目录下：

  • 点云地图（PCD格式）
  • 轨迹文件（位姿序列）
  • 可视化帧图像序列（如启用）

已知问题和解决方案

  1. Harris 3D关键点检测问题：原始的Harris 3D关键点检测在较新版本的Open3D中不可用。已更新为使用ISS (Intrinsic Shape Signatures)关键点检测算法，提供了相同或更好的性能。如果ISS关键点检测失败，系统会自动回退到体素下采样方法。

  2. 可视化界面问题：在无图形环境（如远程服务器）下，可能无法显示交互式可视化窗口。已添加完善的离线渲染功能，通过--headless --save_frames选项保存可视化结果为图像序列。系统会自动调整相机位置，跟随轨迹，并输出高质量的可视化结果。

  3. Python导入问题：使用绝对导入路径解决了模块导入问题，确保在任何目录下运行都能正确导入依赖模块。

  4. API兼容性问题：更新了代码以适应Open3D最新API，包括信息矩阵计算和全局优化选项的修改。

  5. 无头模式下的渲染崩溃：增强了错误处理机制，在遇到图形相关错误时能够自动降级到纯离线渲染模式，确保系统能够在任何环境下正常运行。

开发者说明

本系统在以下环境测试通过：

  • Python 3.11.11
  • Open3D 0.19.0
  • NumPy 1.26.4
  • macOS 13.5与Ubuntu 22.04

性能优化建议

如果处理大规模点云数据遇到性能问题，可考虑：

  1. 减小voxel_size值增加下采样强度
  2. 调整max_features限制每帧特征点数量
  3. 在配置文件中增加max_points参数控制地图总点数
  4. 降低离线渲染的分辨率和保存频率以减少I/O开销

更新日志

2025-05-11 重大更新

本次更新主要解决了两个关键问题，提高了系统在无图形界面环境中的稳定性和兼容性：

  1. Harris3D关键点检测替代方案实现

    • 使用Open3D的ISS (Intrinsic Shape Signatures)关键点检测算法替代已弃用的Harris3D
    • 添加了详细的配置选项，可通过YAML配置文件调整ISS参数
    • 实现了多级回退机制，确保特征提取的稳定性：
      • 优先使用Open3D内置的ISS实现
      • 如果ISS检测失败，回退到体素下采样
      • 增强了错误处理和日志记录

  2. 无头模式下的可视化改进

    • 完全重构了可视化模块的离线渲染功能
    • 实现了自动相机控制，根据轨迹动态调整视角
    • 添加了可配置的帧保存间隔和图像分辨率
    • 改进错误处理，即使在图形驱动有问题的服务器上也能正常运行
    • 添加了详细的无头模式使用指南，包括多种环境下的配置方法

  3. 其他改进

    • 更新主程序流程，确保结果文件的正确保存
    • 改进了命令行参数解析
    • 更新了配置文件结构，使其更加清晰和可扩展
    • 添加了详细的文档和使用说明

这些改进使系统能够在各种环境下稳定运行，尤其是在无图形界面的服务器环境中，同时保持了高质量的可视化结果输出。

小彭律师
关注
RadarSLAM：可用于全天候的大规模场景的毫米波雷达SLAM
点云PCL
10-13 4863
文章：RadarSLAM: Radar based Large-Scale SLAM in All Weathers作者：Ziyang Hong, Yvan Petillot and Sen Wang编辑：点云PCL欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。未经博主同意请勿擅自转载。公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章...
毫米波雷达SLAM：利用TI IWR1443+ROS+NVIDIA JTX+TurtleBot2实现（上）
热门推荐
gua_MASS的博客
03-20 1万+
利用毫米波雷达IWR1443实现室内建图，篇幅较长故分为上中下三篇。本片介绍如何安装毫米波雷达驱动，以及驱动是如何工作的。
4D毫米波雷达（ARS548） SLAM
沮丧的迈克尔
03-26 189
4D毫米波雷达（ARS548） SLAM。
毫米波雷达SLAM：利用TI IWR1443+ROS+NVIDIA JTX+TurtleBot2实现（下）
gua_MASS的博客
08-18 5384
最后一篇简要介绍了调频连续波毫米波雷达的工作原理和雷达系统作为三维传感器时的设计方式。 并且尝试对雷达SLAM的原理做出简单的论述。
无人机避障——4D 毫米波雷达 SLAM篇（一）
weixin_45390670的博客
09-25 2556
4D毫米波雷达无人机避障遇到4D雷达点云需要进行处理的问题，查阅文献，发现以下这篇文章中的建图方法应该为后续思考的方向，特此将这个开源项目进行复现和学习：
4D毫米波雷达SLAM
whaosoft143ai的博客
12-28 962
上图1展示的硬件即4片级联的方式。一般地，我们从Radar上获取的是稀疏的点云形式+速度测量，但在点云数据格式之前，存在一种4D Tensor的更稠密的信息表达形式，相对于稀疏点云形式，它包含了更多的关于目标特性的信息，学术上尤其是感知领域，也有讨论使用4D tensor作为信息输入的算法方案[3][4]。这里的基本思路是：对于空间中静止的物体和环境，其反射点提供的多普勒测量速度，根据相对运动，反馈的即是车体本身的速度，即每个静止点都提供了车体本身的速度观测，这是一个非常强且有用的约束。 whaosoft
煤矿地下毫米波雷达点云成像与环境地图导航研究进展-论文
07-08
煤矿地下毫米波雷达点云成像与环境地图导航研究进展 煤矿地下环境的感知与导航是煤矿智能化信息技术领域的核心课题，其研究成果对于推动煤矿无人化、自动化和智能化生产具有至关重要的意义。近年来，毫米波雷达技术...
毫米波雷达点云处理软件
最新发布
03-27
好的，我需要回答用户关于毫米波雷达点云处理的开源软件和工具的问题。首先，用户已经提供了四个引用，我需要从中提取相关信息。让我先仔细看看这些引用内容： 引用[1]提到图像处理和毫米波雷达的信息处理，但没有...
【camera-radar】相机-毫米波雷达联合标定方案介绍+实现
02-26
在自动驾驶和高级驾驶辅助系统（ADAS）领域，相机与毫米波雷达的融合是至关重要的技术之一。这两种传感器各有优势，相机能提供丰富的视觉信息，而雷达则具有较强的穿透力和距离测量能力。本篇文章将深入探讨“相机-...
毫米波雷达与激光雷达的融合（在可见度较低的环境中获得更为稳定可靠的定位和建图效果）
m0_62036264的博客
12-30 250
在烟雾浓重、可见度非常低的情况下，激光雷达有效作用距离缩短，减少了前后两帧激光点云之间的重叠部分，从而给定位造成更大的困难。在以上实验中，如果现场没有堆放大量的物品，在低可见度条件下定位和建图有一定的可能会失败。作为一种实时定位和建图的算法，是通过新的一帧观测量（即激光点云）和上一帧（及之前）的观测量（点云模型）作对比，来获得当前帧和上一帧传感器（即激光雷达）相对位姿的改变。而在定位准确的前提下，激光雷达可以提。4D-iRIOM所呈现的毫米波雷达融合惯导所获得的定位和建图的结果与当下主流的激光惯导。
4D 毫米波雷达SLAM 方案调研
CV_Autobot的博客
01-03 645
作者|游振兴 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/675438765点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【SLAM】技术交流群本文只做学术分享，如有侵权，联系删文前言Image Radar即4D 毫米波雷达，它输出3D位置+径向速度，相对于传统的3D毫米波雷达（2D位置+速度）多了一维高度信息...
毫米波雷达数据处理得到运动目标
11-18
一个处理毫米波雷达的程序，用于得到毫米波雷达原始数据中的运动目标
基于视觉和毫米波雷达的车辆检测_英文
01-17
基于视觉和毫米波雷达的车辆检测_英文
毫米波雷达成像的实例
11-23
本例子为利用的TI的毫米波雷达实现的近距离目标成像，利用两维滑轨的方式实现SAR成像，同时结合了MIMO的原理，对初学者是很好的资源，包含数据和分析程序
毫米波SLAM
bufengzj的博客
07-09 5156
0.mmv radar简介 1、毫米波雷达 毫米波雷达其实很早就被引入到汽车上。只不过，以前只有在豪华车上才可以看到毫米波雷达，现在10-20万的车上也可以看到毫米波雷达。毫米波雷达，主要根据电磁波反射所带来的频率变化 --->输出物体的 方位 和 速度。这个速度一般指的是径向速度。实际车辆上一般会安装1-2个长距离毫米波雷达和4-8个短距离毫米波雷达，长距离雷达的辐射角度小，短...
毫米波雷达slam论文汇总
如果想成为中心，那么就到中心去吧。
03-19 930
基于激光雷达的SLAM在不利天气（如雨、雪、烟雾、雾）中很容易失效，而mmWave雷达则不受影响。然而，目前的研究主要集中在2D（x、y）或3D（x、y、多普勒）雷达和3D激光雷达上，而4D雷达（x、y、z、多普勒）的工作有限。4D雷达作为具有独特特征的市场新入口，输出三维点云，而不是2D点云；与3D激光雷达相比，四维雷达具有噪声更稀疏的点云，使得提取几何特征（边缘和平面）更具挑战性。在本文中，我们提出了一个由三个模块组成的四维雷达测距系统： 1)前端模块进行扫描到扫描匹配计算测程，考虑每个点的概率分布；
基于毫米波雷达的可行驶区域检测(Freespace)
xhblair的博客
10-07 3956
本博文论述了可行驶区域检测这一自动驾驶里的概念，并探讨基于毫米波雷达来做可行驶区域检测的优势，结合专利给出了两种实践的算法流程
4DRadarSLAM算法复现
如果想成为中心，那么就到中心去吧。
07-10 886
4D毫米波雷达SLAM（Simultaneous Localization and Mapping，即同时定位与建图）是一种利用4D毫米波雷达传感器来进行环境感知并构建地图的技术。4D毫米波雷达不仅能够测量目标物体的距离和角度，还能够获取速度和高度信息，从而提供更丰富的环境感知数据。4D毫米波雷达在传统毫米波雷达的基础上，增加了对目标物体高度和速度的测量，即除了传统的3D信息（距离、方位角和俯仰角）外，还能提供速度和高度信息。这增加了雷达的环境感知能力，使其在复杂环境下也能有效工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值