VSLAM技术框架（第一次写博客~）_vslam用什么语言写-CSDN博客

VSLAM技术框架（第一次写博客~）

背景
结尾

背景

首先，庆祝我在CSDN潜水一周年终于写了博客。客官快来看呀。（^ 0 ^）

在此，特别划重点，本博客部分内容是借鉴，如原博主认为侵权，我必将删除。

参考博客：https://www.cnblogs.com/slamtec/p/9706557.html

博客内容源自于我最近在上的“SLAM技术”课程。有一份开放性作业。我在网
上查阅到了资料，以完成作业。老师批阅后对我的总结报告称赞了一番。这里给看到这里的伙伴们推荐我老师的博客（大牛）👍

CSDN名：zhangrelay
个人主页： https://me.csdn.net/zhangrelay

对此，我认为需要写这一篇博客。

SLAM技术课堂作业“VSLAM扫地机器人分析”

结合课程讲过内容：
三维空间刚体运动/李群和李代数/相机与图像/非线性优化/视觉里程计/后端/回环检测/建图/综合分析资源第一个详细分析视频中扫地机器人。

SLAM简介

最早，SLAM的雏形是在军事上的应用（核潜艇的海底定位），主要传感器是军用雷达。SLAM技术发展到如今已经几十年，目前以激光雷达作为主传感器的SLAM技术比较稳定、可靠，仍然是主流的技术方案。但随着最近几年计算机视觉技术的快速发展，SLAM技术越来越多的应用于家用机器人、无人机、AR设备，基于视觉的Visual SLAM（简称VSLAM）逐渐开始崭露头角。

VSLAM技术架构

VSLAM的技术框架主要包括传感器数据预处理、前端、后端、回环检测、建图。
在这里插入图片描述
此图非常清晰地介绍了SLAM技术的架构

1、传感器数据（相机与图像）

传感器数据预处理。这里的传感器包括摄像头、惯性测量单元（Inertial measurement unit，简称IMU）等，涉及传感器选型、标定、多传感器数据同步等技术。

2、前端（视觉里程计）

又称为视觉里程计（visual odometry，简称VO）。主要是研究如何根据相邻帧图像定量估算帧间相机的运动。通过把相邻帧的运动轨迹串起来，就构成了相机载体（如机器人）的运动轨迹，解决了定位的问题。然后根据估算的每个时刻相机的位置，计算出各像素的空间点的位置，就得到了地图。

VSLAM中，前端主要涉及计算机视觉相关的算法。提取每帧图像特征点，对相邻帧进行特征点粗匹配，利用RANSAC（随机抽样一致）算法去除不合理的匹配对，得到位置和姿态信息。

整个过程涉及到特征提取、特征匹配、对极几何、PnP、三维空间刚体运动、李群和李代数等多视图几何知识。

视觉里程计只计算相邻帧的运动，进行局部估计，这会不可避免的出现累积漂移，这是因为每次估计两个图像间的运动时都有一定的误差，经过相邻帧多次传递，前面的误差会逐渐累积，轨迹漂移（drift）的越来越厉害。

解决轨迹漂移的方法有两个：后端优化、回环检测。

3、后端

主要是对前端的结果进行优化，得到最优的位姿估计。主要有两种方法：

一种是基于滤波理论的优化，主要有 EKF, PF, RBPF, UKF等方法，其中EKF（扩展卡尔曼滤波）在早期是主流的方法。它的思路是将状态估计模型线性化，并用高斯分布近似其噪声，然后按照卡尔曼滤波进行预测来更新。但是实际上，这种对噪声的高斯分布大部分情况下是不成立的，此外，线性化过程中丢失了高阶项。

另一种就是非线性优化（图优化）。它的基本思想是将优化的变量作为图的节点，误差项作为图的边，在给定初值后，就可以迭代优化更新。由于图优化的稀疏性，可以在保证精度的同时，降低计算量。

后端优化涉及到的数学知识比较多，具有较高的难度。总的来说，从状态估计的角度来讲，SLAM是一个非线性非高斯系统。因此传统的滤波理论已经逐渐被抛弃，而非线性优化（图优化）已经成为主流方法。

4、回环检测

主要目的是让机器人能够认识自己曾经去过的地方，从而解决位置随时间漂移的问题。视觉回环检测一般通过判断图像之间的相似性完成，这和我们人类用眼睛来判断两个相同的地点是一样的道理。因为图像信息丰富，因此VSLAM在回环检测中具有很大的优势。

当回环检测成功后，就会建立现在的图像和过去曾经见过图像的对应关系，后端优化算法可以根据这些信息来重新调整轨迹和地图，从而最大限度地消除累积误差。

5、建立地图

SLAM根据不同的传感器类型和应用需求建立不同的地图。常见的有2D栅格地图、2D拓扑地图、3D点云地图等。

廉价的扫地机器人，它只需要知道房屋内部的简单二维地图就可以了，不需要知道房屋到底有多高；它只需要知道哪里可以通过，哪里是障碍物，而不需要知道这个障碍物到底是什么，长什么样子；因此目前大部分具有SLAM功能的扫地机器人几乎都是采用廉价的消费级激光雷达方案，很少采用视觉SLAM方案（VSLAM也不够稳定）。

2D拓扑地图更强调地图元素之间的连通关系，而对精确的位置要求不高，去掉了大量地图的细节，是一种非常紧凑的地图表达方式。

3D点云地图在VSLAM中用的比较多，主要用于真实场景的视觉重建，重建的地图非常直观漂亮。但是点云地图通常规模很大，比如一张VGA分辨率（640 x 480）的点云图像，就会产生30万个空间点，这会占据非常大的存储空间，而且存在很多冗余信息。