第七讲——视觉里程计1

本章说

  题头诗：

  重走SLAM路，之前学的全忘光
  今日重拾起，痛定思痛写总结
  长征路漫漫，君当切实行

  第七讲主要理解特征提取，主要是ORB方法的过程，理解2D-2D的对极约束，以及有类似BA思路的PnP和ICP问题（PnP还有很多独特的求解方式，我在这里没有展开介绍）

讲内容

特征提取（主讲ORB）

  ORB特征提取的步骤可以总结为：

1. 提取FAST-Oriented特征点（特点是角点+尺度不变性+旋转不变性）
2. 获得特征点的描述子（采用Brief描述子）
3. 在不同图像间进行特征点匹配（衡量两个特征点描述子间的汉明距离）

  1.的关键要素在于：

（1）角点如何选：取某一半径的圆所包括的像素，判断连续多少个像素超出极大极小阈值，如果连续数量超过预设值，则可以认为是角点
（2）尺度不变性如何做：将原图按比例缩放，在新图中再去寻找角点，如果在各个比例的图像中某一个点都被判定为角点，则在原图中认定其为角点
（3）旋转不变性如何做：可以参考我写在这篇博客中的内容：旋转不变性与Brief算子

  2.Brief描述子如何得到，在原文阅读后是有歧义的，这里针对歧义点做我的解释：

（1）Brief描述子为什么在图像旋转后，仍可以作为同一角点的特征描述？
  关于这一点的解释，还是在我上面所说的那篇博客中已经解释
（2）Brief描述子是在某区域中随机选择的多组匹配点$(p,q)$，为什么在图像旋转后，仍可以作为同一角点的特征描述？
   brief描述子虽然是在空间中随机选择匹配点判断像素值大小并生成，但是对于同一批描述子生成时，将采用同一批$(p,q)$值，保证相同匹配

  而第3点，不同图像间如何进行特征点匹配，是很明确的无歧义的，这里就不展开说明

对极约束

  本质：
  $O_1{p}_1$与$O_2{p}_2$延长线交于同一点（理想状态），所以$P$可以作为连接$p_1$与$p_2$的桥梁

  关键：$x_2^{T}E{x}_1=0$或$p_2^{T}F{p}_1=0$

  求解：
  由$$\{\begin{array}{rl}& 1.E具有尺度不变性，只有8自由度\\ & 2.E的奇异值应为\Sigma =(1,1,0{)}^T\end{array}$$

  可知$$\{\begin{array}{rl}& 1.求解E需要8组对点，且令e_9=1\\ & 2.得到E后，可够在E=U\Sigma V^T重组为t\hat{}R形式，求得t与R\\ & 3.由于P的空间深度在2D-2D中是未知的，所以求解过程中会产生4组解\\ & 4.利用O_1{p}_1，O_2{p}_2连线交于P重建P的三维信息，求解时使用了8对点，要重建8个P，以落在两相机位姿正深度P点数最多的解作为最终解\end{array}$$

  拓展： 单应矩阵

     来源： 当所有特征点共面时，使用单应矩阵，以较少的自由度求解，减少噪声
     推导： 将平面方程转化成单位1的表达并加入P2的等价式，再将P转化成$p_1$即可得到$p_1$与$p_2$的
     关系式，即：

     带入特征点，由于线性相关，三个方程组只保留两个
     求解：

$$\{\begin{array}{rl}& 1.取4组对点，得8个方程，解线性方程组，令h_9=1\\ & 2.分解H，得4组解，基于平面与相机平行的假设，可知法向量n^T应为(0,0,1{)}^T，找到满足该法向量的解作为最终解\end{array}$$

PnP和ICP

这两个内容我一般是放在一起理解的，这部分内容在我之前的一篇博客中有结合g2o代码的理解，个人感觉是比单独的理论说明更工程和更高效的理解，而且PnP和ICP并没有那么的区别明显，所以可以一起理解，这里放个链接：PnP和ICP