使用自己的TUM数据集来实现ORBSLAM稠密建图

已于 2023-10-02 23:33:48 修改
阅读量5.1k 收藏 116
点赞数 12
文章标签： 人工智能 计算机视觉 python c++
于 2023-07-05 15:42:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_64338148/article/details/131556754
版权

​

简介

  • 项目链接：https://github.com/LeonardoDiCaprio1/Map_ORBSLAM_ROS
  • 奥比中光ROS功能驱动包：https://github.com/LeonardoDiCaprio1/astra_camera
  • 笔者参照很多大佬的文章和相关代码并添加了一些功能而且最终编译出来，现在分享给大家

硬件设备

  • 奥比中光深度相机（Astra）
  • 笔记本电脑（AMD）

操作环境

  • Ubuntu 20.04
  • ROS Noetic

额外依赖

注：Ubuntu 20.04 ROS Noetic自带OpenCV-4.2.0

安装依赖

1.安装git，g++，python

  • ORBSLAM3需要C++11和C++0x 编译器
sudo apt-get install git
sudo apt install g++
sudo apt install libpython2.7-dev

2.安装EIGEN库

sudo apt-get install libeigen3-dev
  • 检查是否安装成功
cat /usr/include/eigen3/Eigen/src/Core/util/Macros.h

3.安装Pangolin-0.6

  • 安装依赖
sudo apt install libgl1-mesa-dev
sudo apt install libglew-dev
sudo apt install libpython2.7-dev
sudo apt install pkg-config
sudo apt install libegl1-mesa-dev libwayland-dev libxkbcommon-dev wayland-protocols
  • 编译与安装
cd Pangolin-0.6
mkdir build
cd build 
cmake ..
make 
sudo make install
  • 卸载说明
cd build 
sudo make uninstall
  • 查看是否安装成功
cd examples/HelloPangolin
./HelloPangolin
  • 注：pcl-1.13的编译与下载和Pangolin-0.6操作相同，后续不在叙述

4.安装OpenCV依赖

sudo apt-get install build-essential libgtk2.0-dev libgtk-3-dev libavcodec-dev libavformat-dev libjpeg-dev libswscale-dev libtiff5-dev
sudo apt install python3-dev python3-numpy
sudo apt install libgstreamer-plugins-base1.0-dev libgstreamer1.0-dev
sudo apt install libpng-dev libopenexr-dev libtiff-dev libwebp-dev
  • 检查OpenCV版本号
pkg-config --modversion opencv4

5.安装boost库

sudo ./bootstrap.sh
sudo ./b2 install

6.安装realsense2

  • 注册public key
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE
  • 添加apt源
sudo add-apt-repository "deb https://librealsense.intel.com/Debian/apt-repo $(lsb_release -cs) main" -u
  • 安装
sudo apt install librealsense2-dkms librealsense2-utils librealsense2-dev

7.安装编译Map_ORBSLAM_ROS

cd Map_ORBSLAM_ROS
chmod +x *.sh
./build.sh
注：这里为了防止线程卡死，你可以在build.sh文件中将其相关代码改为make

8.TUM数据集稠密建图

./run_rgb_mapping.sh
或者
source build/devel/setup.bash
roslaunch orb_slam3 rgbd_mapping_1.launch

制作TUM数据集

  • 奥比中光bag包录制
rosbag record -O image.bag /camera/rgb/image_raw /camera/depth/image_raw
  • 查看奥比中光订阅话题
rosbag info image.bag
  • 首先创建rgb和depth文件夹和txt文件
mkdir rgb
mkdir depth
touch rgb.txt
touch depth.txt
  • 使用脚本get_TUM_better.py或者get_TUM.py或者get_tum.py获取深度图和彩色图并分别得到txt文件
  • 若是TUM官方数据集的bag文件请使用TUM_official.py文件
python3 get_TUM_better.py
  • 使用官方脚本得到associate.txt文件
python3 associate.py rgb.txt depth.txt  > associate.txt
  • 执行指令例子
./Examples/RGB-D/rgbd_tum Vocabulary/ORBvoc.txt Examples/RGB-D/TUM1.yaml /home/zhao/script /home/zhao/script/associate.txt

  • 效果展示
    result

  • TUM官方数据集bag文件信息

bag TUM

注：你可以使用其他的深度相机制作TUM数据集，但要注意相机的规格参数，实验过程中使用的是奥比中光深度相机，TUM官方数据集给的bag文件除了相机深度话题和彩色话题以外还有imu和tf话题。

制作TUM数据集-稠密建图

  • 首先在当级目录下创建rgb.txt和depth.txt以及rgb和depth文件夹
mkdir rgb
mkdir depth
touch rgb.txt
touch depth.txt
  • 运行scripts中的get_TUM.py文件或者get_TUM_better.py文件
python3 get_TUM_better.py
  • 若是TUM官方数据集的bag文件请使用scripts中的TUM_official.py文件
python3 TUM_official.py
  • 运行associate.py得到associate.txt文件
python3 associate.py rgb.txt depth.txt  > associate.txt
  • 使用自己的数据集稠密建图
./run_rgb_mapping.sh
  • 运行样例
    Example

稠密建图效果

  • 建完图后pcd文件默认保存在.ros隐藏文件夹中
  • Ctrl + H 能够快速的调出隐藏文件
  • 安装pcl工具
sudo apt-get install libpcl-dev pcl-tools
  • pcl查看建图效果
pcl_viewer vslam.pcd
  • 开源项目scripts文件夹中有matlab脚本
  • 你也可以使用CouldCompare软件打开pcd文件
  • 笔者默认使用matlab打开pcd文件

效果展示

在这里插入图片描述

相机内参标定

  • 将以下的照片打印在A4纸上，拍摄20张左右的图片
  • 可以通过rosbag录制1-2秒，用get_tum.py或者get_TUM.py获取彩色图像
  • 存放在cameraCalib.py同一级目录下

内参标定

  • 执行代码
python3 cameraCalib.py
  • 注：例子Example.yaml在scripts里

使用EVO测评TUM官方数据集

  • evo_ape：计算绝对位姿误差(absolute pose error)，用于整体评估整条轨迹的全局一致性
  • evo_rpe：计算相对位姿误差(relative pose error)，用于评价轨迹局部的准确性
  • -a轨迹对齐，-s尺度缩放，-p绘制误差相关曲线，-v开启详细的输出或日志记录
  • 在执行完以下指令后可以获得CameraTrajectory.txt和KeyFrameTrajectory.txt
./Examples/RGB-D/rgbd_tum Vocabulary/ORBvoc.txt Examples/RGB-D/TUM1.yaml /home/zhao/script /home/zhao/script/associate.txt
  • 注意事项：本文是针对CameraTrajectory.txt和KeyFrameTrajectory.txt进行评估的，因为后面评估自己的TUM数据集只有这两个文件，groundtruth.txt可能需要特殊处理来生成，笔者暂时没有方法去实现，这可能需要额外的设备去获取相对位姿
  • 如果出现以下情况请不要担心！
       max	0.000000
      mean	0.000000
    median	0.000000
       min	0.000000
      rmse	0.000000
       sse	0.000000
       std	0.000000
  • 一般而言可以使用groundtruth.txt和CameraTrajectory.txt或者KeyFrameTrajectory.txt进行对比评估
  • 以下是一个样例
evo_ape tum groundtruth.txt CameraTrajectory.txt -p --plot -s --correct_scale -a --align -v

在这里插入图片描述

  • pip安装evo工具
pip install evo --upgrade --no-binary evo

绘制多条轨迹

  • evo_traj绘制轨迹
evo_traj tum CameraTrajectory.txt KeyFrameTrajectory.txt  -p --plot_mode=xyz
  • TUM数据集有groundtruth.txt文件，可以执行以下指令：
evo_traj tum CameraTrajectory.txt KeyFrameTrajectory.txt groundtruth.txt -p --plot_mode=xyz
  • trajectories
    在这里插入图片描述
  • xyz_view
    在这里插入图片描述
  • rpy_view
    在这里插入图片描述
  • 欧拉角（roll，pitch，yaw）分别表示滚动角，俯仰角，偏航角

评估绝对位姿误差

  • evo_ape评估绝对位姿误差指令
evo_ape tum CameraTrajectory.txt KeyFrameTrajectory.txt -p --plot -s --correct_scale -a --align -v --save_results ~/path/to/ape.zip
  • 当然你可以省略–save_results ~/path/to/ape.zip
evo_ape tum CameraTrajectory.txt KeyFrameTrajectory.txt -p --plot -s --correct_scale -a --align -v

结果展示

在这里插入图片描述

  • APE平均百分误差
  • rmse均方根误差
  • median中位数
  • mean算术平均数
  • std标准差

在这里插入图片描述

评估相对位姿误差

  • evo_rpe评估相对误差指令
 evo_rpe tum CameraTrajectory.txt KeyFrameTrajectory.txt -p -a -s -v --save_results ~/path/to/rpe.zip
  • 当然你可以省略–save_results ~/path/to/rpe.zip
 evo_rpe tum CameraTrajectory.txt KeyFrameTrajectory.txt -p -a -s -v

结果展示

在这里插入图片描述

  • APE平均百分误差
  • rmse均方根误差
  • median中位数
  • mean算术平均数
  • std标准差
    在这里插入图片描述
  • 输出ape结果进行比较
evo_res ape.zip -p --save_table ape.csv
  • 当然你可以省略–save_table ape.csv
evo_res ape.zip -p
结果展示

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

使用EVO工具测评自己的TUM数据集

  • evo_traj绘制多条轨迹指令如下：
evo_traj tum CameraTrajectory.txt KeyFrameTrajectory.txt  -p --plot_mode=xyz
  • trajectories
    在这里插入图片描述
  • xyz_view
    在这里插入图片描述
  • rpy_view
    在这里插入图片描述

注：evo评估自己的TUM数据集结果不做过多演示，后续可以自己操作并输出自己的TUM数据集的评估结果

项目链接展示

主要参考链接

  • https://blog.csdn.net/kuvinxu/article/details/125992909
  • https://blog.csdn.net/kuvinxu/article/details/126233165
  • https://github.com/lturing/ORB_SLAM3_ROS
  • https://blog.csdn.net/peng_258/article/details/127414959
  • https://blog.csdn.net/zardforever123/article/details/127138151
  • https://blog.csdn.net/weixin_47074246/article/details/109134740
  • https://blog.csdn.net/qq_43265072/article/details/104715515

​

夜思、晨
关注
  • 12
    点赞
  • 踩
  • 116
    收藏
    觉得还不错? 一键收藏
  • 81
    评论
orb_slam_2_ros:ORB_SLAM2 的 ROS 实现
07-24
这是用于单目、立体和RGB-D相机的 ORB-SLAM2 实时 SLAM 库的 ROS 实现，用于计算相机轨迹和稀疏 3D 重建（在具有真实比例的立体和 RGB-D 情况下）。 它能够实时检测环路并重新定位相机。 此实现删除了穿山甲依赖项和...
ORB-SLAM 2+3 rgbd稠密地图 （地图可回环）
热门推荐
l741299292的博客
08-23 2万+
高博曾经在他的github上提供过，但因为大佬时间少，并没有将回环加入到稠密地图，现提供一个可回环的稠密地图版本 https://github.com/tiantiandabaojian/ORB-SLAM2_RGBD_DENSE_MAP.git 第一张图片是TUM数据集未回环的地图 第二张图片是经过回环的地图 第三张是博主自己用Kinect V2跑出的地图 望能帮到各位 ...
5.如何利用ORBSLAM3生成可用于机器人/无人机导航的二维/三维栅格地图--以octomap为例
qq_41694024的博客
11-29 3989
如何利用ORBSLAM3生成可用于机器人/无人机导航的二维/三维栅格地图--以octomap为例
ORB-SLAM2 技术详解(3)– 源码编译及TUM RGB-D数据集测试
01-06
目录 0. 摘要 1. ORB-SLAM2 简介 2. 安装依赖库 （1）安装Pangolin  （2）安装必要的依赖库 （3）安装OpenCV （4）安装Eigen （5）安装BLAS and LAPACK库 (1) BLAS: Basic Linear Algebra Subprograms (2) LAPACK：Linear Algebra PACKage 3. 编译OEB_SLAM 4. 运行测试程序 4.1 TUM数据集格式简介：官网介绍https://vision.in.tum.de/data/datasets/rgbd-dataset/file_formats 4.2. RGB-
SLAM数据集TUM，KITTI，EuRoC数据集的下载地址与真实轨迹文件的查找
m0_60355964的博客
07-28 8769
在SLAM的学习过程中，不可避免的会用到这些数据集来运行程序，并且还会将运行轨迹与相机真实轨迹作对比，下面就介绍SLAM常用数据集TUM，KITTI，EuRoC数据集的下载地址与真实轨迹文件的查找。
工程（十）——github代码ubuntu20.04在ROS环境运行单目和RGBD相机ORB-SLAM3稠密
HUASHUDEYANJING的博客
02-16 5243
orb-slam3的整个环境配置还是比较麻烦的，先将一些坑写在前面，供大家参考和避开这些坑。
TUM数据集（RGBD）百度云下载链接，官网下载实在太慢了，下载了一个数据集传到了百度云供大家下载
03-14
TUM数据集（RGBD）百度云下载链接，官网下载实在太慢了，于是我就下载了一个数据集传到了百度云供大家下载，赚一丁点积分下载其他文档/笑哭，
制作自己的TUM数据集
nihaohaoxin的博客
04-04 3104
制作TUM数据集 由于没有机器人，所以只能用kinectV2来制作数据集，来用真是场景验证SLAM算法。 参考博客(https://blog.csdn.net/wang_chaochen/article/details/85244748) 亲测可行。 在ubuntu下运行程序，环境还是很重要的，我的环境是：ubuntu14.04，OpenCV2系列，ros indigo版。 ...
TUM数据集
xiaojinger_123的博客
07-07 1万+
TUM数据集下载链接 https://vision.in.tum.de/data/datasets/rgbd-dataset/download 由于 TUM数据集是从实际环境中采集的,需要解释一下它的数据格式(数据集一般都有自己定义的格式)。在解压后,你将看到以下这些文件: rgb.txt 和 depth.txt 记录了各文件的采集时间和对应的文件名。 rgb/ 和 depth/目录存放着采集到的 png 格式图像文件。彩色图像为八位三通道,深 度图为 16 位单通道图像。文件名即采集时间。 grou
tum data-数据集
03-30
No description
关于TUM数据集
weixin_46034116的博客
09-28 829
2、验证回环检测算法，需要有人工标记回环的数据集。然而人工标记回环是很不方便的，我们会考虑根据标准轨迹计算回环。即，如果轨迹中有两个帧的位姿非常相近，就认为它们是回环。请根据TUM数据集给出的标准轨迹，计算出一个数据集中的回环。这些回环的图像真的相似吗？
数据集总结TUM、KITTI、EuRoC
04-30
下载自TUM的数据集，应该是最小的一个了，希望对大家有用
ORB-SLAM2-RGBD-DENSE-MAP-data.tar
08-10
ORB-SLAM2-RGBD-DENSE-MAP-data，D435i相机发出的rgb图和对其的深度图，以及对应的相机内参，数据格式是rosbag。
SLAM-在英伟达JetsonTX1上运行带有GPU加速的ORB-SLAM2+ROS-优质项目实战-毕业设计.zip
02-20
SLAM_在英伟达JetsonTX1上运行带有GPU加速的ORB-SLAM2+ROS_优质项目实战_毕业设计
SLAM-使用ROS+ORB-SLAM+PSPNet101实现的语义SLAM-用于自主机器人语义理解+导航-优质项目实战.zip
最新发布
02-20
SLAM_使用ROS+ORB-SLAM+PSPNet101实现的语义SLAM_用于自主机器人语义理解+导航_优质项目实战
帮实现ORBSLAM3+Gazebo仿真+实时稠密重建项目
weixin_45023510的博客
01-26 426
项目地址：https://github.com/UZ-SLAMLab/ORB_SLAM3。
Win10+VS2015+Realsense D435相机+BundleFusion实现基于SLAM的实时三维重建
weixin_42203839的博客
04-27 2477
Win10+VS2015+Realsense D435相机+BundleFusion实现基于SLAM的实时三维建图前言1 程序环境2 相关代码、SDK的下载2.1 相关代码下载2.2 软件、SDK下载3 配置3.1 工程文件配置3.2 源码相关配置3.3 模型参数修改4 编译5 最终目录6 其他 前言 本人前期实现了ORB_slam3的实现过程，但是其是稀疏重建。 这两天实现了基于经典SLAM框架—BundleFusion的稠密三维重建。主要参考博主：https://blog.csdn.net/Claibo
在jetson xavier nx上配置orbslam3，带稠密重建
qq_44713615的博客
03-01 1462
jetson xaviwer nx 跑orbslam3稠密建图
SLAM学习——建图（二）
Hansry的博客
08-05 1万+
1.对单目构建稠密地图的讨论像素梯度的问题在前面中，通过块匹配来获得匹配结果。块匹配的正确与否，依赖于图像块是否具有区分度，有明显梯度的小块将具有良好的区分度。对于梯度不明显的像素，将比较难估计其有效深度。立体视觉一个常见问题：对物体纹理的依赖性。像素梯度与极线的关系：像素梯度平行于极线方向以及垂直于极线方向。 像素梯度垂直于极线：当沿极线寻找的时候，发现匹配程度是一样的，得到不到有效匹配。
ORBSLAM2评估TUM数据集
09-03
ORBSLAM2是一种视觉里程计方法，用于实时定位和地图构建。通过引用和[2]的内容，我们可以了解到在评估ORBSLAM2性能时，研究人员使用了TUM数据集。 TUM数据集是一个在SLAM领域广泛使用的数据集，用于测试和评估SLAM算法的性能。它包含通过相机捕捉的图像序列，以及与图像序列对应的真实相机轨迹。 通过使用TUM数据集，研究人员可以运行ORBSLAM2程序，并将其计算出的相机轨迹与真实相机轨迹进行比较。这样可以评估ORBSLAM2在定位和地图构建方面的准确性和稳定性。 此外，根据引用的内容，您还可以使用evo工具来评估ORBSLAM2在TUM数据集上的性能。evo工具是一种用于分析SLAM数据集的工具，它可以计算APE（绝对位姿误差）和RPE（相对位姿误差）等评估指标，从而更全面地评估ORBSLAM2在TUM数据集上的性能。 因此，通过使用TUM数据集和evo工具，可以对ORBSLAM2在TUM数据集上的性能进行评估和分析。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [半密集实时视觉里程计方法的评估-研究论文](https://download.csdn.net/download/weixin_38651273/19533967)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [用evo工具分析ORB-SLAM2运行TUM，KITTI，EuRoC数据集轨迹](https://blog.csdn.net/m0_60355964/article/details/126044512)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [使用evo评估ORB-SLAM3 精度(2)-非ros环境下运行orbslam3 tum数据集，并显示轨迹数据](https://blog.csdn.net/weixin_45834800/article/details/124577680)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 81
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值