视觉SLAM：一直在入门，从未到精通

上周的组会上，我给研一的萌新们讲解什么是SLAM，为了能让他们在没有任何基础的情况下大致听懂，PPT只能多图少字没公式，这里我就把上周的组会汇报总结一下。

这次汇报的题目我定为“视觉SLAM：一直在入门，从未到精通”，那是因为视觉SLAM真的是博大精深，就像C++一样，连说入门都底气不足，只能说了解，更不敢说精通。

从五月份开始学《视觉SLAM十四讲》算起，我已经正式接触SLAM四个多月了，到现在还是很懵懂的，当然也有可能是自己的吸收能力还不够强吧！

下面就以我这段时间的积累斗胆简单谈谈对视觉SLAM的认识，如有不当，还请指教。

1 什么是SLAM？

SLAM的英文全名叫做Simultaneous Localization and Mapping，中文名是同时定位与建图，从字面上来看就是同时解决定位和地图构建问题。

定位主要是解决“在什么地方”的问题，比如你目前在哪国哪省哪市哪区哪路哪栋几号几楼哪个房间哪个角落。

建图主要是解决“周围环境是什么样”的问题，你可以回忆一下百度高德地图，甚至一些景点的手绘地图。

下面就以扫地机器人作为例子再稍微详细地讲解一下。

对于扫地机器人来说，定位就是要知道自己在房间里的具体位置，建图就是知道整个房间的地面结构信息，而有了这些信息才能做路径规划，以最短的距离到达目的地。

下面右图就是扫地机器人在家里移动时的定位和建图，蓝点是它自己目前所在的位置，它已经把房间能抵达的地方都构建出来了。

总的来说，机器人从未知环境未知地点出发，通过传感器（这里主要说的是相机）观测环境获取信息，利用相机的信息估算机器人的位置、姿态和运动轨迹，并且根据位姿构建地图，从而实现同时定位和建图。

利用不同的传感器实现SLAM的方法不同，目前主流的传感器有激光雷达（LiDAR SLAM）、相机（Visual SLAM）和惯性测量单元（Visual-inertial SLAM）。

接下来我们介绍的是视觉SLAM的方法，也就是只采用相机作为传感器的SLAM。

当然，用相机作为传感器的话，还是有不同的方法，因为相机也有不同的种类，常见的有单目相机、双目相机和RGB-D相机。

2 为什么用SLAM？

可能你会有疑问了，为什么不用GPS定位？为什么不用现成的地图？下面就来一一解答。

对于定位来说，我要反问一下，没有GPS怎么破？比如在一些建筑物内、隧道或者偏远地方，我们是无法获取GPS的。这种情况下机器人或者无人车是不是得自己定位了。

再者，GPS的定位精度不够高，最多也就达到几米的精度，要是在室内定位的话，一套房就这么巴掌大的地方，几米的误差也许就让你的扫地机器人误以为是在你邻居家打扫了。。

对于建图来说，我还是要反问一下，没有现成地图怎么破？比如你的家、公司或者工厂，我们很难直接拿到现成的地图，家家户户的图纸数据量得多大，而且每一户装修也不一样，家私的摆放位置更是无从得知。

而且，不同场景需求下的地图也是不一样的，后面我们会提到有各式各样的地图，不存在解决各种问题的地图。

所以，在没有GPS和现成地图的场景下，同时考虑到定位的精度和地图的需求，SLAM对于机器人来说简直是雪中送炭。

3 视觉SLAM怎么实现？

下面就用高博《视觉SLAM十四讲》里的框图来讲解视觉SLAM大致是怎么实现的。

首先通过传感器（这里利用的是相机）获取环境中的数据信息，也就是一帧一帧的图像，在前端视觉里程计中通过这些图像信息计算出相机的位置（准确来说是位姿，后面会细说）。

同时进行闭环检测，判断机器人是否到达先前经过的地方。然后利用后端非线性优化，对前端得出的相机位姿进行优化，得到全局最优的状态。

最后根据每一时刻的相机位姿和空间中目标的信息，根据需求建立相应的地图。

接下来就来详细说说其中每一个模块都是怎么操作的。

4 前端视觉里程计

视觉里程计的英文名称是Visual Odometry，简称VO，主要是研究怎么通过相邻两帧图像计算两帧之间相机的运动。

这里面涉及了不少知识，其中包括图像处理中的特征提取和特征匹配、三维视觉中的刚体运动和对极几何、数学中的李群李代数等等。。

不要慌！天空飘来五个字，那都不是事！

在视觉SLAM中，主流的方法根据前端的不同分为特征点法和直接法，下面介绍的是利用特征点法的视觉SLAM。

你瞅瞅，下面的两帧图像之间相机进行了怎样的运动？

对于我们人眼直观判断来说，从前一张图像到后一张图像应该是往右上的方向稍微旋转了一下。

但是，对于机器人来说它可没那么“直观”。

首先它要对这两张图像进行特征提取，也就是找到图像中特别的地方，比如角点、边缘点等。然后，对这些特征点在两张图像之间进行特征匹配。

把匹配对中误匹配的筛选掉之后，就能得到较为准确的匹配了，如下图。

有了这些匹配点对之后，就能利用它们疯狂计算相机的位姿了。对了，这里得讲讲位姿究竟是什么东西？

位姿其实就是位置和姿态的合称，位置也就是在三维空间中的坐标(x,y,z)，而姿态是在三维空间中的旋转(r,p,y)，因此位姿总共包含6个自由度。

还没理解？来做做头部健康运动就明白了，左右歪头，上下点头，左右摇头。怎么样，既能预防颈椎病，还能理解三维旋转。

左右歪头是滚转角roll，上下点头是俯仰角pitch，左右摇头则是偏航角yaw。

既然要表示坐标，那我们总得知道坐标系是什么吧？在相机运动过程中，有四个常见的坐标系需要我们了解。

分别是世界坐标系、相机坐标系、归一化坐标系还有像素坐标系。下面这张图让人一目了然。

• 世界坐标系比较好理解，就是我们身处的整个三维空间的坐标系，坐标原点由我们自己定，可以是某一张桌子的边角，也可以是相机第一时刻的位置。

• 相机坐标系是以相机光心为坐标原点，光轴为z轴的坐标系。

• 归一化坐标系就是原点在相机坐标系下(0,0,1)处的二维平面坐标系。

• 像素坐标系是以图像左上角的像素为原点，以一个像素为最小单元的离散坐标系。

既然有不同的坐标，当知道点在一个坐标系下的坐标时，如何求得该点在其他坐标系下的坐标呢？

举个栗子，我们能获取到的是图像的像素信息，通过转换（相机投影模型）之后能得到该像素（特征点）在相机坐标系中的坐标位置。

但是在构建地图的时候我们得知道这个像素（特征点）在整个三维空间中的哪个位置呀，也就是相机坐标系中的坐标怎么转化到世界坐标系下。

这就涉及到了三维空间刚体运动中坐标系的变换。直接上图就晓得了。

上图展示的是世界坐标系转化为相机坐标系的过程，当然方法都是一样的。

这里献上整篇文章唯一的一条数学公式：
p c = R c w p w + t c w