SLAM精度评估—从二维到三维

最新推荐文章于 2024-07-17 18:33:54 发布
最新推荐文章于 2024-07-17 18:33:54 发布
阅读量1.4k 收藏 12
点赞数 2
文章标签： 算法 大数据 编程语言 python 机器学习
原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247609045&idx=2&sn=b5c9e2b426ff439eaf7c3dde637b5ef0&chksm=fbfd01e1cc8a88f7f84cb099d6acac7bf14e027b9db648a98dbe1382bc864e5f94dacd93584f&scene=126&&sessionid=0
版权

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

db2ba5250db9e06f3e4a36c8205e312c.png

作者丨lovely_yoshino

来源丨古月居

简介

最近在群里划水时，看到很多初学的SLAMer面对精度评估这个问题无从下手。而精度评估确实是在SLAM算法实际评估中急需一种手段和工具，本文将从2维室内和3维室外两个层面来向各位展示如何通过各种手段来对SLAM算法完成。

2D评估—基于cartographer

室内的评估方案比较多样，作者也选取了几种方法来实现二维层面上的室内定位性能评估

1.1 直尺和角度计

这种是作为最简单粗糙的一种方式，但是由于其低廉的成本以及边界的衡量性能被广泛适用于一些小厂的开发人员当中。该定位精度需要根据操作人员的操作精度来决定，基本误差在厘米和分米这样的级别。

基本操作步骤：

1.从地图中获取真实场景与地图栅格对应的比例权重、

2. 然后手动发送一个与初始方向保持一致的目标点以及方位，让机器人通过amcl自主导航到该目标位置附近，

3.通过直尺测量真实运动距离与rviz的距离差

4.然后控制机器人原地旋转一定时间，并观察机器人通过角度计测的的误差与rviz上反馈误差的参数

5.以上步骤重复三次以上。这样我们就可以大概的测量得到SLAM算法的定位精度大概处于什么范围了。

d67dd9de83522983170cf356943697a9.png

1.2 激光测距仪和角度计

这类方法和上文的方法类似，只是将直尺换成了激光测距仪，可以提高人为测量的误差，这类方法也可以较好地评估机器人在直行情况下两个轮子之间的物理误差是否达标。

85ff6f6b3e67b2d3a07a2660ee4c4119.png

1.3 动作捕捉仪

动作捕捉仪是作为很多大厂来验证室内定位精度最常用的一种策略方法，其成本也是最高的。

但是其可以对整体的定位实现综合衡量的级别，可以实现类似EVO的结果。根据动捕的资料，动捕的定位精度基本在亚毫米级和度级别。同时动捕可以适用于多机器人场景，在室内场景中完成机器人协同编队的功能。

c683f44b4ed7b3e362bf907f36876c0c.png

1.4 软件评价方法

  • cartographer使用的是图优化的思路，这就导致了cartographer存在回环，而每一次回环其实就是一次精度的校准。基于这一特性，基于这一目的，Cartographer提供了内置工具，可以辅助调参过程或者被用于质量保证目的。

  • 该评估提出的位姿关系度量，cartographer中，我们可以从带有闭环的轨迹中生成ground truth。让带有闭环检测的优化轨迹作为ground truth生成的输入。我们从满足以下条件的闭环检测约束中选择：

  • min_covered_distance : 闭环之前的最小覆盖距离（以米为单位）被认为自动生成ground truth的候选对象

  • outlier_threshold_meters :以米为单位的距离，超出该距离被视为异常值

  • outlier_thresold_meters :以弧度为单位的距离，超出被认为异常值

我们可以假设满足这些要求的相邻轨迹节点的位姿关系在完全优化的轨迹中是局部正确的，尽管从另一个来源的独立输入来看这并不是ground truth ,但是我们现在可以使用它来评估未经闭环优化而生成的局部SLAM结果的质量。

下图说明了该概念，在左侧，ground truth 被可视化为完全优化轨迹的轨迹节点之间的绿色连接，在右侧，红色显示了未优化轨迹中的对应关系。计算出的实际度量是ground truth（绿色）和探针（红色）之间的差。

35510e340459d66fec1dbb61de306adc.png

与繁琐的ground truth设置相比，数据收集过程更加轻松。这种方法的另一个优点是：SLAM系统可以在任何自定义传感器配置中进行评估。

通过以下指令可以获取一系列完全优化的轨迹（.optimized.pbstream文件）ground truth关系

cd <build>  # (directory where Cartographer's binaries are located)
./cartographer_autogenerate_ground_truth -pose_graph_filename optimized.pbstream -output_filename relations.pbstream -min_covered_distance 100 -outlier_threshold_meters 0.15 -outlier_threshold_radians 0.02
# 进行评估
./cartographer_compute_relations_metrics -relations_filename relations.pbstream -pose_graph_filename test.pbstream

最后结果如下

Abs translational error 0.01944 +/- 0.01819 m
Sqr translational error 0.00071 +/- 0.00189 m^2
Abs rotational error 0.11197 +/- 0.12432 deg
Sqr rotational error 0.02799 +/- 0.07604 deg^2

3D评估—基于LOAM

这类方法基本上就是对应的室外场景，这类场景存在有GPS或者RTK的信息。通常会使用EVO评定工具，这可以拿到绝对轨迹误差(ATE)、相对轨迹误差(RPE)、均方根误差（RMSE）。

2.1 绝对轨迹误差(ATE)

绝对轨迹误差（absolute trajectory error） 直接计算相机位姿的真实值与SLAM系统的估计值之间的差。


程序首先根据位姿的时间戳将真实值和估计值进行对齐， 然后计算每对位姿之间的差值， 并最终以图表的形式输出， 该标准非常适合于评估视觉 SLAM 系统的性能。

绝对轨迹误差是估计位姿和真实位姿的直接差值，可以非常直观地反应算法精度和轨迹全局一致性。
估计位姿和groundtruth通常不在同一坐标系中，因此我们需要先将两者对其尺度统一。

2.2 相对轨迹误差(RPE)

相对位姿误差（relative pose error 用于计算相同两个时间戳上的位姿变化量的差， 同样， 在用时间戳对齐之后， 真实位姿和估计位姿均每隔一段相同时间计算位姿的变化量， 然后对该变化量做差， 以获得相对位姿误差， 该标准适合于估计系统的漂移。

相对位姿误差主要描述的是相隔固定时间差$\Delta$两帧位姿差的精度（相比真实位姿），相当于直接测量里程计的误差。

2.3 均方根误差（RMSE）

均方根误差为回归评价指标。衡量观测值与真实值之间的偏差。

2.4 evo 安装

程序安装

pip install evo --upgrade --no-binary evo


# 源码安装
#git clone https://github.com/MichaelGrupp/evo
#cd evo
#pip install --editable . --upgrade --no-binary evo


# 测试
evo_ape -h

b966cab1655ecc8ddca2453660ef6867.png

$ cd evo/test/data
$ evo_traj kitti KITTI_00_ORB.txt KITTI_00_SPTAM.txt --ref=KITTI_00_gt.txt -p --plot_mode=xz

ab3a63508ef7c4e474331fa5e8a62cbe.png

详细的步骤可以参考如下链接：

https://blog.csdn.net/qq_39779233/article/details/108299612

测量指标：

  • evo_ape：绝对位姿误差

  • evo_rpe：相对位姿误差

常用命令：

  • evo_traj：绘制轨迹，一条或多条，支持kitti，eurco，tum三种格

  • evo_res：根据指标比较分析不同SLAM方案轨迹输出结果


不常用命令：

  • evo_fig：重新打开序列化图的工具

  • evo_config：用于全局设置和配置文件操作的工具


参数：

  • -p或–plot: 绘图

  • -v或–verbose: 输出相关信息（均值，方差等）

  • -f或–full_check: 检查相关信息（时间戳是否对应，四元数是不是单位四元数）

  • -a或–align: 对轨迹进行对齐，用ICP的方法，并不是仅仅将起点对齐

  • –correct_scale: 尺度校正

2.5 数据转换

如果目前没有合适的数据，我们可以把bag包录出来，然后通过如下函数进行转换

odom2tum.msg

float32 x
float32 y
float32 z
float32 q_x
float32 q_y
float32 q_z
float32 q_w

详细代码

#include <ros/ros.h>
#include <nav_msgs/Odometry.h>
#include "xxx/odom2tum.h"
ros::Publisher pub_gps;
ros::Publisher pub_carto;


void callback_gps(const nav_msgs::Odometry::ConstPtr& odom)
{


    carto_test::odom2tum msg;
    msg.x = odom->pose.pose.position.x;
    msg.y = odom->pose.pose.position.y;
    msg.z = odom->pose.pose.position.z;
    msg.q_x = odom->pose.pose.orientation.x;
    msg.q_y = odom->pose.pose.orientation.y;
    msg.q_z = odom->pose.pose.orientation.z;
    msg.q_w = odom->pose.pose.orientation.w;
    pub_gps.publish(msg);
    ROS_INFO("gps ok");
}
void callback_carto(const nav_msgs::Odometry::ConstPtr& odom)
{


    carto_test::odom2tum msg;
    msg.x = odom->pose.pose.position.x;
    msg.y = odom->pose.pose.position.y;
    msg.z = odom->pose.pose.position.z;
    msg.q_x = odom->pose.pose.orientation.x;
    msg.q_y = odom->pose.pose.orientation.y;
    msg.q_z = odom->pose.pose.orientation.z;
    msg.q_w = odom->pose.pose.orientation.w;
    pub_carto.publish(msg);
    ROS_INFO("carto ok");
}
int main (int argc, char **argv)
{


    ros::init (argc, argv, "odom2tum");
    ros::NodeHandle n;


    pub_gps = n.advertise<carto_test::odom2tum>("tum_gps", 10, true);
    pub_carto = n.advertise<carto_test::odom2tum>("tum_carto", 10, true);
    ros::Subscriber sub_gps = n.subscribe<nav_msgs::Odometry>("/odom/by_gps", 10, callback_gps);
    ros::Subscriber sub_carto = n.subscribe<nav_msgs::Odometry>("/carto_odom", 10, callback_carto);
    ros::Rate loop_rate(50);
    while(ros::ok())
    {


        ros::spinOnce();
        loop_rate.sleep();
    }
    return 0;
}

然后将转换后的话题tum_gps和tum_gps转换为tum格式的txt

rostopic echo -b tum_gps_carto.bag -p /tum_carto > tum_carto.txt
rostopic echo -b tum_gps_carto.bag -p /tum_gps > tum_gps.txt

参考链接

https://blog.csdn.net/qq_36170626/article/details/105302157
https://blog.csdn.net/qq_39779233/article/details/108299612

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

21bba097d2fac629c6d814e29318223e.png

▲长按加微信群或投稿

cf90dbd64a7b642ba3f8600f90fea7a8.png

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

39582e126492f51b7154859c8e5d45ad.png

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~  

3Ｄ视觉工坊
关注
SLAM精度测评——EVO
格物致知
10-18 1万+
1.install GitHub - MichaelGrupp/evo: Python package for the evaluation of odometry and SLAM 注意：安装好依赖！ sudo apt install python-pip pip install evo --upgrade --no-binary evo or pip install evo --upgrade --no-binary evo --user pip install numpy --up...
点云从入门到精通技术详解100篇-融合二维图像特征的三维点云语义分割
getusushu的博客
09-10 472
像数据在物体边缘部分往往存在特征“突变”现象，且往往具有丰富、清晰的纹理信息，接着，通过设计合理的融合机制实现图像与点云特征空间的融合。特征的提取，再借助合适的中间数据将图像与点云的高维度特征融合至同一特征空间中，不同的融合特征将用于生成不同类型的成果，如：物体识别框的生成、语义掩膜的生成、确空间结构信息的优势互补，以提升现有三维空间感知手段的性能。又恰好对应彼此的劣势，图像数据的维度限制了表达三维信息的能力，而点云也因数据。图像与点云信息融合机制的相关研究逐渐增加，希望在空间感知技术上让两种数据形成。
SLAM精度评估
lovely_yoshino的博客
05-19 8413
0. 简介 最近在群里划水时，看到很多初学的SLAMer面对精度评估这个问题无从下手。而精度评估确实是在SLAM算法实际评估中急需一种手段和工具，本文将从2维室内和3维室外两个层面来向各位展示如何通过各种手段来对SLAM算法完成。 1. 2D评估–基于cartographer 室内的评估方案比较多样，作者也选取了几种方法来实现二维层面上的室内定位性能评估 1.1 直尺和角度计 这种是作为最简单粗糙的一种方式，但是由于其低廉的成本以及边界的衡量性能被广泛适用于一些小厂的开发人员当中。该定位精度需要根据操作人员
【SLAM评估指标介绍】—— SLAM精度的评估的几种指标介绍
最新发布
2401_82458959的博客
07-17 1894
SLAM（同步定位与地图构建）技术的精度评估对其可靠性和性能至关重要。常用的评估指标包括绝对轨迹误差（`ATE`）、相对姿态误差（`RPE`）、地图精度和闭环检测。ATE用于衡量SLAM系统估计轨迹与实际路径之间的偏差，通过计算估计位置和真实位置的欧氏距离来量化定位精度，低ATE值表明系统能更准确地反映实际路径。RPE评估相邻帧之间的相对运动估计误差，通过比较估计的相对运动与真实相对运动之间的差异来衡量局部精度，常用于评估短时间内的累积误差，特别适用于动态环境。
ros中SLAM的EVO、APE测评——SLAM精度测评（一）
Yangy_Jiaojiao的博客
04-30 1万+
用于处理、评估和比较里程计和SLAM算法的轨迹输出。 支持的轨迹格式：“TUM”轨迹文件“KITTI”姿态文件“EuRoC MAV”（.csv groundtruth和TUM轨迹文件）ROS和ROS2 BAG文件，带有几何图形/PoseStamped、几何图形/TransformStamped、几何图形/POSEWITH协方差统计或导航/里程计主题或TF消息 1 精度测评 evo_ape 绝对姿势误差 evo_rpe 相对位姿误差 2 轨迹绘图工具 evo_traj 用于分析、绘制或导出一..
二维激光雷达SLAM数据集
04-22
二维激光雷达SLAM（Simultaneous Localization And Mapping，同时定位与建图）是机器人和自动驾驶领域中的核心技术之一。它允许机器人在未知环境中实时地构建地图并确定自身的精确位置。SLAM算法通过处理传感器数据...
三维视觉、SLAM方向全球顶尖实验室汇总
热门推荐
计算机视觉life
07-03 2万+
SLAM国内外优秀研究机构 欧洲 英国伦敦大学帝国理工学院 Dyson 机器人实验室 http://www.imperial.ac.uk/dyson-robotics-lab 简介： 伦敦帝国理工学院戴森机器人实验室成立于2014年，由Andrew Davison.教授领导。是戴森公司和帝国理工学院领导机器人视觉小组Andrew Davison教授的合作实验室，Andrew Davison是视觉S...
SLAM_怎么评价slam建图效果
惊鸿一博
03-21 7020
问题：请问怎么评价slam建图效果，ATE RMSE，RPE RMSE等指标能间接说明不同slam算法建图效果好坏吗，谢谢！ 感谢提问！我对这个问题也非常感兴趣，所以花了一点时间做了些调查。由于知识星球对富格式文本支持不太好，支持添加到图片个数也十分有限，我把完整的回答内容放在了附图中。 ---- 这里的“slam建图”我理解为类似RGB-D SLAM所进行的稠密建图哈。 第一个问题：“ATE RMSE，RPE RMSE等指标能间接说明不同slam算法建图效果好坏吗?” 是的。 文献[4]中在评估轨迹
SLAM荟萃 （2）三维空间下旋转的表示
DargonWain的博客
05-08 438
目录 旋转矩阵，旋转向量，欧拉角及四元数 旋转矩阵，旋转向量，欧拉角及四元数 旋转：旋转是三维空间下物体朝向的变换，当物体朝向发生变化时，物体上点在全局坐标系下的坐标也会相应的改变。旋转的主要作用是进行全局坐标系下的坐标变换以及描述物体朝向。假设物体原始朝向为A,旋转后朝向为B，可以将物体由A到B的旋转描述为其表示物体由B姿态下旋转为A姿态，很显然旋转只有乘法，没有加法，我们可以说物体由A姿态旋转到B，再旋转到C，等同于物体由A姿态旋转到C姿态. 旋转矩阵:当物体由A朝向旋转到B朝向时，...
SLAM中的三角测量
GuoBen_的博客
03-24 2491
三角测量是SLAM中，利用相机运动估计特征点空间位置的过程。 本节旨在解决以下问题： 三角测量的概念 三角测量的过程及代码实现； 三角测量有哪些不确定性 如何提高三角测量的精度 1. 概念在SLAM中，利用对极几何约束估计相机运动之后，我们还需要通过三角测量来估计地图点的深度。三角测量（三角化）指的是，通过在两处观测同一个点的夹角，...
激光slam_移动测量中的激光SLAM
weixin_39845825的博客
12-15 935
王程，厦门大学信息学院教授，IET Fellow，福建省智慧城市感知与计算重点实验室的执行主任，国际摄影测量与遥感学会的多传感器集成与融合工作组的主席。研究兴趣包括三维视觉，激光雷达点云处理，空间大数据分析，遥感图像分析，移动测量。王老师发表论文200余篇，包括CVPR，AAAI，VR，ISPRS JPRS，TRGS等高水平会议和期刊，是IEEE GRSL的编委，作为大会主席和组委会主席...
SLAM的精度评价标准
随风的博客
04-01 8296
SLAM的精度评价标准
SLAM从入门到精通（三边测量法详解）
嵌入式-老费，一个分享专业嵌入式知识的blog
10-25 2453
【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing @163.com】 三边测量，或者说叫三角定位，是定位系统中很常见的一种测量方法。它最主要的原理就是依靠已有的三个特征坐标和半径，就可以计算出当前自己的坐标。听上去这么做很玄乎，其实相关的计算，用初中数学的知识就可以掌握。 首先我们假设三个特征坐标分别是(x1,y1)、(x2,y2)、(x3,y3)，它们的半径分别是r1、r2、r3。已知的条件就这么多，下面就要求出(x,y)的坐标了。
SLAM精度评估—evo
u014374826的博客
06-01 2973
evo是一款用于SLAM轨迹精度的评估工具。核心功能是（1）能够绘制（传感器运动）轨迹，（2）评估估计轨迹与真值（ground truth）的误差。evo支持多种数据集的轨迹格式(TUM、KITT、EuRoC MAV、ROS的bag)，同时支持这些数据格式之间进行相互转换。在此仅对其基本功能做简要介绍。
直接线性变换法（DLT）在SLAM中的应用
qq_37340588的博客
05-20 1797
直接线性变换法 直接线性变换法（DLT）通常都为x1=Mx2\bold{x_{1}}=\bold{Mx_{2}}x1​=Mx2​形式，在不同问题中我们要求解的内容不一样。在PnP问题中，我们已知3D点坐标和对应的2D投影，去求矩阵M。在线性三角化中，我们已知变换矩阵和2D投影坐标去求3D点坐标。今天先写下线性三角化吧，PnP挖个坑，以后有时间再写。 ...
SLAM精度测评——EVO进阶
格物致知
03-17 2724
1. 基本概念 1.1 Umeyama算法 1.2 SE(3)与Sim(3) 双目SLAM和RGB-D SLAM,尺度统一，因此我们需要通过最小二乘法计算一个从估计位姿到真实位姿的转换矩阵 [公式] 对于单目相机，具有尺度不确定性，我们需要计算一个从估计位姿 [公式] 到真实位姿 [公式] 的相似变换矩阵 [公式] 。在evo代码中，给予 --correct_scale命令就会估计Sim，否则默认为SE(3)。 2. 测试标准机器含义 1. evo_ape 计算绝对位姿误差 evo_ape tum data
【三角测量法】slam小白看懂的三角测量法
weixin_63695448的博客
04-19 1135
三角测量法
视觉SLAM基础：算法精度评价指标（ATE、RPE）
qq_39779233的博客
03-29 1735
本文转载自： [1] 三无马尔布鲁. 视觉SLAM基础：算法精度评价指标（ATE、RPE）[EB/OL]. https://zhuanlan.zhihu.com/p/105428199, 2020-08-28/2022-03-29. 1. 前言 当我们需要评估一个SLAM/VO算法的表现时，可以从时耗、复杂度、精度多个角度切入，其中对精度的评价是我们最关注的，这个过程中不可避免会遇到两个精度指标ATE和RPE。
RTAB-Map与Realsense双目同步实现三维重建
三维重建是利用计算机技术，从二维图像中恢复出物体或场景的三维结构的过程。三维重建算法通常包括图像采集、特征提取、特征匹配、三维点云生成和网格模型构建等步骤。该过程对于计算机视觉、图形学、虚拟现实、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值