视觉slam爬坑——高翔深蓝学院——第一讲

前沿：研二狗，之前一直是做四轴无人机控制的，现在退魔转来学学自动驾驶方面关于vslam的内容。现在关于slam相关的学习很火，尤其是有了高翔大佬的视觉slam十四讲之后，使得普通学生入门有了系统性的方案和了解，为学生造福了，以后的学习会围绕着高博和高博的视觉slam十四讲展开，每次学完一讲内容都会巩固，把方法论和过程放在csdn上，做做笔记。

---

第一讲ppt和视频学习资料来源于深蓝学院http://www.shenlanxueyuan.com/course/101

百度网盘链接：链接：https://pan.baidu.com/s/1CU7bYh1SN0EIrqJgGVqG6w       提取码：e2no 

其他参考书链接：

Probabilistic Robotics (2005)正式版本：链接：https://pan.baidu.com/s/1fdoKDx1KdOKFWq5dxOoSlw 
提取码：1xgy 

State Estimate for Robot：链接：https://pan.baidu.com/s/1nB-gScDH9V4rfjA7f9Hwxw    提取码：6s0v 

高翔 视觉SLAM十四讲-完整14讲版：链接：https://pan.baidu.com/s/10T1UU_DFMFtgm1qG6UqHvA 
提取码：pa6z 

Multiple View Geometry in Computer Vision (Second Edition)：链接：https://pan.baidu.com/s/16Af-Rbi1-MynlE7XIR5ckg 
提取码：fsk0 
本博客写于2018年12月4日，以自己学习笔记的形式呈现，ppt里有点内容不再呈现

软件版本：ubuntu16.04

---

第一讲：slam概述与理论基础

引言：

从自动驾驶的角度来说信息来源主要是摄像头{分单目，双目（立体相机），深度摄像头（RGB-D，D即deep）}，激光雷达（2D\3D），GPS（不管是RTK也好，单独GPS也好，最基本的定位原理都是一样的），惯性导航（IMU之类的），车辆本身的信息（车身大小，轮距，轮式编码器之类）

各类相机的区别

单目：无深度 深度需要其他手段估计。单目相当于3D世界在2D面上的投影。人因为见过的图像信息足够丰富，根据近大远小可以营造出空间感觉，但机器需要其他方式。机器通过的方式就是运动！我们知道近大远小，相机向右移动，拍出来的物体从左面离开视野，近处物体移动快，远处物体移动慢，这样运动的物体可以通过对比图像之间的相同特征点估计场景中物体的运动轨迹、大小、深度（获取深度方式的科普文https://zhuanlan.zhihu.com/p/33956636）；但是这样获取的图像是相对大小，我可以放大比例使其成为真正的高楼大厦和汽车，也可以缩小让他成为模型，没有办法衡量，所以单目slam无法仅凭图像确定这个真实尺度，我们称之为尺度不确定。

双目：通过视差计算深度。双目AB之间的距离称之为基线，通过基线来计算每个像素的空间位置。基线距离大，测量距离远。缺点是计算与标定较为复杂，深度量程和精度受双目的基线和分辨率影响，所以非常消耗资源

深度相机（RGB-D）：通过红外结构光或者tof原理，通过主动向物体发射光并接收返回的光，测出物体与相机之间的距离，物理手段测量深度。

那么有了这么多摄像头数据可以运用计算机视觉在2D平面/3D立体上做什么？在展示视频中（见上面资料第一讲ppt第四页）用到了

物体识别：识别谁是车谁是人

物体跟踪：预测车和人的移动

物体检测：车的报外框之列的

语义分割：那部分是车那部分不是

这4个主要的部分组成了自动驾驶视觉部分识别的全过程。

slam介绍：

SLAM (simultaneous localization and mapping),也称为CML (Concurrent Mapping and Localization), 即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边逐步描绘出此环境完全的地图，所谓完全的地图（a consistent map）是指不受障碍行进到房间可进入的每个角落。

也就是slam解决的主要是两个问题：1、定位，2、建图

应用前景

 

经过前辈们的总结得出经典的slam框架，包括传感器信息读取，视觉里程计（前端），非线性优化（后端），回环检测，建图。

传感器信息读取：相机图像读取与预处理，码盘，惯导等信息同步

视觉里程计：估算相邻图像间相机的运动以及局部地图的样子

后端优化：接收不同时刻视觉里程计测量的相机位姿以及回环检测信息，并优化，得到全局一致的轨迹和地图、

建图：根据估计的轨迹建立任务要求与对应地图。

如果将工作环境限定在静态、刚体、光照变换不明显，没有人为干预的情况下，这个slam是相当成熟的方案了。