本章说
题头诗:
重走SLAM路,之前学的全忘光
今日重拾起,痛定思痛写总结
长征路漫漫,君当切实行
第七讲主要理解特征提取,主要是ORB方法的过程,理解2D-2D的对极约束,以及有类似BA思路的PnP和ICP问题(PnP还有很多独特的求解方式,我在这里没有展开介绍)
讲内容
特征提取(主讲ORB)
ORB特征提取的步骤可以总结为:
- 提取FAST-Oriented特征点(特点是角点+尺度不变性+旋转不变性)
- 获得特征点的描述子(采用Brief描述子)
- 在不同图像间进行特征点匹配(衡量两个特征点描述子间的汉明距离)
1.的关键要素在于:
(1)角点如何选:取某一半径的圆所包括的像素,判断连续多少个像素超出极大极小阈值,如果连续数量超过预设值,则可以认为是角点
(2)尺度不变性如何做:将原图按比例缩放,在新图中再去寻找角点,如果在各个比例的图像中某一个点都被判定为角点,则在原图中认定其为角点
(3)旋转不变性如何做:可以参考我写在这篇博客中的内容:旋转不变性与Brief算子
2.Brief描述子如何得到,在原文阅读后是有歧义的,这里针对歧义点做我的解释:
(1)Brief描述子为什么在图像旋转后,仍可以作为同一角点的特征描述?
关于这一点的解释,还是在我上面所说的那篇博客中已经解释
(2)Brief描述子是在某区域中随机选择的多组匹配点
(
p
,
q
)
(p,q)
(p,q),为什么在图像旋转后,仍可以作为同一角点的特征描述?
brief描述子虽然是在空间中随机选择匹配点判断像素值大小并生成,但是对于同一批描述子生成时,将采用同一批
(
p
,
q
)
(p,q)
(p,q)值,保证相同匹配
而第3点,不同图像间如何进行特征点匹配,是很明确的无歧义的,这里就不展开说明
对极约束
本质:
O
1
p
1
O_1p_1
O1p1与
O
2
p
2
O_2p_2
O2p2延长线交于同一点(理想状态),所以
P
P
P可以作为连接
p
1
p_1
p1与
p
2
p_2
p2的桥梁
关键: x 2 T E x 1 = 0 x_2^TEx_1=0 x2TEx1=0或 p 2 T F p 1 = 0 p_2^TFp_1=0 p2TFp1=0
求解:
由
{
1.
E
具
有
尺
度
不
变
性
,
只
有
8
自
由
度
2.
E
的
奇
异
值
应
为
Σ
=
(
1
,
1
,
0
)
T
\left\{ \begin{aligned} & 1.E具有尺度不变性,只有8自由度\\ & 2.E的奇异值应为\Sigma=(1,1,0)^T\\ \end{aligned} \right.
{1.E具有尺度不变性,只有8自由度2.E的奇异值应为Σ=(1,1,0)T
可知 { 1. 求 解 E 需 要 8 组 对 点 , 且 令 e 9 = 1 2. 得 到 E 后 , 可 够 在 E = U Σ V T 重 组 为 t ^ R 形 式 , 求 得 t 与 R 3. 由 于 P 的 空 间 深 度 在 2 D − 2 D 中 是 未 知 的 , 所 以 求 解 过 程 中 会 产 生 4 组 解 4. 利 用 O 1 p 1 , O 2 p 2 连 线 交 于 P 重 建 P 的 三 维 信 息 , 求 解 时 使 用 了 8 对 点 , 要 重 建 8 个 P , 以 落 在 两 相 机 位 姿 正 深 度 P 点 数 最 多 的 解 作 为 最 终 解 \left\{ \begin{aligned} &1.求解E需要8组对点,且令e_9=1\\ &2.得到E后,可够在E=U\Sigma V^T重组为t\hat{}R形式,求得t与R\\ &3.由于P的空间深度在2D-2D中是未知的,所以求解过程中会产生4组解\\ &4.利用O_1p_1,O_2p_2连线交于P重建P的三维信息,求解时使用了8对点,要重建8个P,以落在两相机位姿正深度P点数最多的解作为最终解\\ \end{aligned} \right. ⎩⎪⎪⎪⎪⎨⎪⎪⎪⎪⎧1.求解E需要8组对点,且令e9=12.得到E后,可够在E=UΣVT重组为t^R形式,求得t与R3.由于P的空间深度在2D−2D中是未知的,所以求解过程中会产生4组解4.利用O1p1,O2p2连线交于P重建P的三维信息,求解时使用了8对点,要重建8个P,以落在两相机位姿正深度P点数最多的解作为最终解
拓展: 单应矩阵
来源: 当所有特征点共面时,使用单应矩阵,以较少的自由度求解,减少噪声
推导: 将平面方程转化成单位1的表达并加入P2的等价式,再将P转化成
p
1
p_1
p1即可得到
p
1
p_1
p1与
p
2
p_2
p2的
关系式,即:
带入特征点,由于线性相关,三个方程组只保留两个
求解:
{ 1. 取 4 组 对 点 , 得 8 个 方 程 , 解 线 性 方 程 组 , 令 h 9 = 1 2. 分 解 H , 得 4 组 解 , 基 于 平 面 与 相 机 平 行 的 假 设 , 可 知 法 向 量 n T 应 为 ( 0 , 0 , 1 ) T , 找 到 满 足 该 法 向 量 的 解 作 为 最 终 解 \left\{ \begin{aligned} & 1.取4组对点,得8个方程,解线性方程组,令h_9 =1\\ & 2.分解H,得4组解,基于平面与相机平行的假设,可知法向量n^T应为(0,0,1)^T,找到满足该法向量的解作为最终解\\ \end{aligned} \right. {1.取4组对点,得8个方程,解线性方程组,令h9=12.分解H,得4组解,基于平面与相机平行的假设,可知法向量nT应为(0,0,1)T,找到满足该法向量的解作为最终解
PnP和ICP
这两个内容我一般是放在一起理解的,这部分内容在我之前的一篇博客中有结合g2o代码的理解,个人感觉是比单独的理论说明更工程和更高效的理解,而且PnP和ICP并没有那么的区别明显,所以可以一起理解,这里放个链接:PnP和ICP