slam14讲-第7讲记录-VO视觉里程记-2D,3D

slam14讲- 第7讲 视觉里程记

1.特征点提取+特征匹配

重点是通过特征点提取+特征匹配的手段获取两幅图像的相似特征点，为了后续转换关系的准确，使用了简单的粗差剔除

2. 2D-2D

2D简单来说就是图像，有了上述两组特征点，就可以进行几何模型解算，理论上两幅图像的几何变换关系为仿射变换（特殊的非刚体变换），RANSAC粗差剔除算法本质上也是求一个最佳的几何变换模型，八点法求解是用四组点，每幅图像四个点，利用两幅图像特征匹配相互对应，可以取出四组，然后求解方程。每个点是由2维坐标写成齐次3维坐标，（u1,v1,1) = T *（u2,v2,1)，已知T（3，3）=1，待求未知数为8个(9-1)，需要8个方程，八个点，这样就可以求的2D-2D的几何变换关系

3. 3D-2D

3D是三维空间点，3D-2D同样也是求解几何变换关系，3D点坐标方法包括直接变换，p3p,BA,注意这里默认第一幅图像的相机坐标系就是世界坐标系，即相机坐标系到世界坐标系的旋转矩阵为I，同样的有了对应的特征点对（对应的像素坐标），而且第一幅图像的深度已知，我们将第一幅图像的像素坐标转换为相机坐标再转换到世界坐标系，便可以得到第一幅图像对应特征点的世界坐标（Xi，Yi，Zi），直接变换方法就是假设第二幅图像对应特征点的像素坐标（ui,vi）经过转换既可得到第一幅图像对应特征点的世界坐标（Xi，Yi，Zi），同样的构造仿射变换模型求解两者的几何变换关系；p3p，类似于直接变换，借助于三对匹配点构建相似变换求解求解两者的几何变换关系；这两种方法本身不具有优化，选点后然后直接计算出3D-2D的几何变换关系，可以借鉴RANSAC粗差剔除算法中随机一致性原理，不断选点，评价模型，对模型进一步优化；***BA（Bundle Adjustment）***本身就具有优化能力，将第一幅图像对应特征点的世界坐标（Xi，Yi，Zi）转换到第二幅图像中第一幅图像对应特征点的像素坐标（u‘i,v‘i）（重投影），利用最小二乘法构造（ui,vi）和（u‘i,v‘i）的误差函数（重投影误差），通过最小化误差函数，利用李代数，不直接求旋转矩阵，求旋转变量，结算出（Xi，Yi，Zi）到（u‘i,v‘i） 几何变换关系

4. 3D-3D

这里默认第一幅图像和第二幅图像的相机坐标系到世界坐标系的旋转矩阵均为I，注意这是两个世界坐标系，为了方便使用，相当于都设置成本身了，然后我们通过两幅图像对应的特征点对（对应的像素坐标）转换为各自的世界坐标，（X1，Y1，Z1）和（X2，Y2，Z2），那么3D-3D的几何变换关系（X1，Y1，Z1）= R*（X2，Y2，Z2）+t,仍然是仿射变换，旋转和平移，然后构建最小二乘问题,求使误差平方和达到极小的 R, t，可以是使用SVD方法和非线性优化方法，SVD方法直接求R，t,非线性优化方法利用李代数。