视觉SLAM十四讲ch7-1 视觉里程计笔记
本讲目标
- 理解图像特征点的意义,并掌握在单幅图像中提取出特征点,及多幅图像中匹配特征点的方法。
- 理解对极几何的原理,利用对极几何的约束,恢复出图像之间的摄像机的三维运动。
- 理解PNP问题,及利用已知三维结构与图像的对应关系,求解摄像机的三维运动。
- 理解ICP问题,及利用点云的匹配关系,求解摄像机的三维运动。
- 理解如何通过三角化,获得二维图像上对应点的三维结构。
从本讲开始,开始介绍SLAM系统的重要算法
- 视觉里程计:特征点法和直接法
- 后端优化
- 回环检测
- 地图构建
特征点法
ORB特征
BRIEF
实践特征提取与匹配
2D-2D:对极几何
P是1坐标系下的坐标,变成2摄像头的坐标需要进行旋转和平移。
归一化:把K换到左边变为逆,x1=P
E:本质矩阵,F:基本矩阵
t平移项三自由度,R旋转矩阵也是三自由度,t^R就是六自由度,但是由于乘任意非零常数依然满足,需要去掉一个自由度,E就是五自由度。意思:最少用五对点把E算出来,五点法。但是有点麻烦,因为有乘法,需要用到非线性的性质,于是就把E当成3×3普通矩阵,有9个自由度,减去一个非零常数自由度,就变成八个自由度。最少用八个点把E求出来。
八点法求E
八点法的讨论
- 用于单目SLAM的初始化
- 尺度不确定性:归一化t或特征点的平均深度
- 纯旋转问题:t=0时无法求解
- 多于八对点时:最小二乘或RANSAC
从单应矩阵恢复R,t
退化:意味着求解不对,求出来的e=[e1,e2,e3,e4,e5,e6,e7.e8.e9]是高维空间,不是一 维空间
于是就规定单应矩阵,特征点都在一个平面上,法线是n,截距为d。
先通过p1和p2把H算出来,再把R和t算出来。
小结
- 2D-2D情况下,只知道图像坐标之间的对应关系
- 当特征点在平面上时(例如俯视或仰视),使用H恢复R,t
- 否则,使用E或F恢复R,t
- 求得R,t后:
- 利用三角法计算特征点的3D位置(即深度)(三角法在7.5)