CDS-SLAM 语义动态环境映射项目教程

CDS-SLAM 语义动态环境映射项目教程

CDS-SLAM-Semantic-mapping-in-dynamic-environment This project is the result of my undergraduate dissertation. The localization in dynamic environment is to deploy TensorRT optimized YOLOX in the front end of ORB-SLAM3 for object detection, and then eliminate all points belonging to the human bounding box. At the same time, the semantic information is sent to the mapping module to dye the 3D point cloud. The disadvantage of this project is that in the localization module, only the points belonging to people are processed, because people are dynamic most of the time. In the mapping module, we did not segment semantic objects accurately, resulting in wrong coloring of point clouds of other objects. 项目地址: https://gitcode.com/gh_mirrors/cd/CDS-SLAM-Semantic-mapping-in-dynamic-environment

1. 项目介绍

CDS-SLAM（CDS-SLAM-Semantic-mapping-in-dynamic-environment）是一个用于动态环境中的语义映射项目，该项目是作者本科毕业论文的成果。它通过在前端部署TensorRT优化的YOLOX进行对象检测，并在ORB-SLAM3的基础上进行改进，以实现动态环境中的定位和映射。

主要功能：

• 动态环境定位：在ORB-SLAM3的前端部署TensorRT优化的YOLOX进行对象检测，并消除属于人体边界框的所有点。
• 语义映射：将语义信息发送到映射模块，为3D点云着色。

项目缺点：

• 在定位模块中，仅处理属于人体的点，因为人体在大多数时间是动态的。
• 在映射模块中，未能准确分割语义对象，导致其他对象的点云着色错误。

2. 项目快速启动

环境准备

确保你已经安装了以下依赖：

• ORB-SLAM3
• TensorRT
• YOLOX

编译项目

1. 克隆项目仓库：

   git clone https://github.com/SlamMate/CDS-SLAM-Semantic-mapping-in-dynamic-environment.git
   cd CDS-SLAM-Semantic-mapping-in-dynamic-environment
   

2. 编译项目：

   mkdir build
   cd build
   cmake ..
   make
   

运行项目

1. 启动ORB-SLAM3：

   ./Examples/RGB-D/rgbd_tum Vocabulary/ORBvoc.txt Examples/RGB-D/TUM1.yaml PATH_TO_SEQUENCE_FOLDER ASSOCIATIONS_FILE
   

2. 启动CDS-SLAM：

   ./src/cds_slam --config PATH_TO_CONFIG_FILE
   

3. 应用案例和最佳实践

应用案例

CDS-SLAM可以应用于以下场景：

• 动态环境中的机器人导航：在人群密集的环境中，机器人可以通过CDS-SLAM进行定位和映射，避免与动态障碍物（如行人）发生碰撞。
• 增强现实（AR）应用：在动态环境中，AR设备可以通过CDS-SLAM进行实时映射，提供更准确的增强现实体验。

最佳实践

• 数据集选择：选择包含动态对象（如行人）的数据集进行测试，以验证CDS-SLAM在动态环境中的性能。
• 参数调优：根据具体应用场景，调整YOLOX的检测阈值和TensorRT的优化参数，以提高系统性能。

4. 典型生态项目

ORB-SLAM3

ORB-SLAM3是一个开源的视觉SLAM库，支持视觉、视觉-惯性和多地图SLAM。CDS-SLAM在其基础上进行了扩展，以支持动态环境中的语义映射。

TensorRT

TensorRT是NVIDIA开发的高性能深度学习推理库，用于优化和部署深度学习模型。CDS-SLAM使用TensorRT优化YOLOX模型，以提高对象检测的效率。

YOLOX

YOLOX是一个高性能的实时对象检测模型，CDS-SLAM使用YOLOX进行动态对象检测，并将其结果用于动态环境中的定位和映射。

通过结合这些生态项目，CDS-SLAM能够在动态环境中实现高效的语义映射，为各种应用场景提供支持。

CDS-SLAM-Semantic-mapping-in-dynamic-environment This project is the result of my undergraduate dissertation. The localization in dynamic environment is to deploy TensorRT optimized YOLOX in the front end of ORB-SLAM3 for object detection, and then eliminate all points belonging to the human bounding box. At the same time, the semantic information is sent to the mapping module to dye the 3D point cloud. The disadvantage of this project is that in the localization module, only the points belonging to people are processed, because people are dynamic most of the time. In the mapping module, we did not segment semantic objects accurately, resulting in wrong coloring of point clouds of other objects. 项目地址: https://gitcode.com/gh_mirrors/cd/CDS-SLAM-Semantic-mapping-in-dynamic-environment