视觉里程计属于前端优化工作,核心包括估计相机的运动(通常用旋转矩阵R和平移矩阵t来表征)和估计特征点三维位置。常见方法包括特征点法、光流法和直接法。
特征点法
根据图像中特征点的运动,估计相机的运动。
特征点及其匹配
特征点由关键点(特征点位置)和描述子(关键点周围像素信息)组成。常用特征为ORB,它包括FAST关键点(角点,灰度值与相邻像素相差大)和BRIEF描述子(相邻像素大小关系)。常见匹配方法包括暴力匹配和快速近似最邻(FLANN)
估算相机运动
2D-2D:对极几何
已知匹配的特征点在图像中的坐标,求解相机运动时的旋转矩阵和平移矩阵。关键在于求解本质矩阵E(可用八点法,即八个点对来估计),再将E进行分解即可通过对应关系求出R,t。
也可以通过单应矩阵H(平面与平面的对应关系)来求解。当特征点共面或者发生纯旋转时,自由度会减少,这时候会同时求解E和H,选取重投影误差小的作为最后的估计值。