前言
学习笔记,仅供学习,不做商用,如有侵权,联系我删除即可
一、目标
1.理解图像特征点的意义,并掌握在单幅图像中提取特征点及多幅图像中匹配特征点的方法。
2.理解对极几何的原理,利用对极几何的约束,恢复图像之间的摄像机的三维运动。
3.理解PNP问题,以及利用已知三维结构与图像的对应关系求解摄像机的三维运动。
4.理解ICP问题,以及利用点云的匹配关系求解摄像机的三维运动。
5.理解如何通过三角化获得二维图像上对应点的三维结构。
二、特征点法
视觉里程(Visual Odometry):计算前后两帧位姿的变化量
VO主要有两个大类:特征点法和直接法。
特征点法最大的一个案例就是ORB-SLAM。
2.1 特征点
特征点由关键点(Key-point)和描述子(Descriptor)组成。
2.2 ORB特征
ORB(Oriented FAST and Rotated BRIEF)
关键点:FAST角点
描述子:BRIEF(一种二进制描述子,速度非常快)
2.3 特征匹配
Hamming distance:两个二进制串之间的比较,相同为1,不同为0.
暴力匹配(Brute-Force Matcher):A中的每个特征点依次和B中所有的特征点比较距离,取最近的一个作为匹配点。
加速方法:快速最近邻(FLANN)
2.4 计算相机运动
三、2D-2D:对极几何
对极几何是研究两幅图像之间存在的关系的几何。它与场景结构无关,只依赖于相机的内外参数,可广泛用于图像匹配、三维重建方面。
3.1 对极约束
空间点P的世界坐标:
像素点p1,p2的像素坐标:,其中:K:内参矩阵,R,t:外参矩阵,s1p1和p1是投影关系,在齐次坐标上是相等的(尺度意义下相等)。
把s除过取,再使用归一化坐标:
基础矩阵F(和内参和外参都有关)和本质矩阵E (只和外参有关,内参已知的情况下)
3.2 本质矩阵
最后可以得到如下方程:
Ax=0可以用SVD方法计算出x的值。
从E中分离出R和t的方法是:,该方法会有4个可能的解
八点法用于初始换,但有尺度不确定性,而且不能用于纯旋转问题,多于八个点会用最小二乘法或RANSAC算法。
3.3 单应矩阵
平面方程:于是有:
把中间部分记作H,则有:
H即为单应矩阵。
整理得:
强制令h9=1,可得:
类似于Ax=b的方程,可用SVD分解或者最小二乘法优化算法求解。
四、三角测量
R,t已经求解出结果,只有深度未知,求解深度即可
但三角测量的误差与基线长度有关:
相机初始化:
特征点提取 --> 特征匹配 --> 求解E或F --> 根据E或F分解出R,t --> 三角化恢复三维坐标
五、3D-2D:PnP
真实点3D坐标和像素点的2D坐标已知,相机可以通过标定得到内参,进而计算相机位姿R,t的算法。
P3P,DLT,EPnP,UPnP等算法,PnP只是求解出一个初值,后面还需要用光束平差法(Bundle Adjustment, BA)进行优化。
5.1 DLT(直接线性变换)
一个点对可以提供两个方程,DLT有12个未知数,所以至少6个点对就可以求解。
现在最常用的是EPnP