目录
- 基本问题 分析
- 各类求解方案
- 优缺点分析
基本问题
视觉里程计是视觉SLAM技术的起点,其核心问题同SLAM技术一样,主要是定位与构图,但视觉里程计解决的核心是定位问题,也就是相机的位姿。通俗地讲就是利用多张图像信息还原相机的运动。
以两帧图像为例。设空间点
P
P
P为路标点,
p
1
,
p
2
p_1,p_2
p1,p2为图像上的投影点。其中
p
1
,
p
2
p_1,p_2
p1,p2为两帧图像正确匹配的特征点,
O
1
,
O
2
O_1,O_2
O1,O2为图像的坐标系。
在
O
1
O_1
O1中,
P
P
P点坐标为
(
X
1
,
Y
1
,
Z
1
)
(X_1,Y_1,Z_1)
(X1,Y1,Z1),
p
1
p_1
p1的坐标为
(
u
1
,
v
1
,
z
1
)
(u_1,v_1,z_1)
(u1,v1,z1)。
同理,在
O
2
O_2
O2中,
P
P
P点坐标为
(
X
2
,
Y
2
,
Z
2
)
(X_2,Y_2,Z_2)
(X2,Y2,Z2),
p
1
p_1
p1的坐标为
(
u
2
,
v
2
,
z
2
)
(u_2,v_2,z_2)
(u2,v2,z2)。
同时。坐标系
O
1
,
O
2
O_1,O_2
O1,O2之间的欧式变换矩阵为
R
R
R(旋转),
t
t
t(平移)。
视觉里程计(直接法)的基本问题可描述为,在已知或部分已知上述坐标的情况下,求解
R
R
R,
t
t
t。
根据不同的已知信息,分为以下不同的解决方案。
各类求解方案
方案一:仅仅采集二维图像(2D-2D)(单目相机)
已知条件: p 1 ( x 1 , y 1 ) , p 2 ( x 2 , y 2 ) p_1(x_1,y_1),p_2(x_2,y_2) p1(x1,y1),p2(x2,y2)。注意z未知.
求解方案:对极约束,求解 E = t ∧ R E=t^\wedge R E=t∧R,如何对 E E E进行SVD分析,还原出 t , R t,R t,R。利用三角测量(三角化)可得到 P P P点的深度信息。
方案二:已知部分三维图像(2D-3D)(双目相机 or D-RGB相机)
已知条件: p 1 ( x 1 , y 1 , z 1 ) , p 2 ( x 2 , y 2 ) p_1(x_1,y_1,z_1),p_2(x_2,y_2) p1(x1,y1,z1),p2(x2,y2)。注意 z 2 z_2 z2未知,此类问题称为 P n P PnP PnP问题
求解方案1:对于 P n P PnP PnP问题的求解方法有很多,如:直接线性变换,BA优化等。当总的来说都是直接求解 R , t R,t R,t。
求解方案2:求解 z 2 z_2 z2,得到图像的全部三维信息,转换为ICP问题(3D-3D)。求解 z 2 z_2 z2的方法称为 P 3 P P3P P3P。
方案三:已知全部三维图像(3D-3D)(双目相机 or D-RGB相机)
已知条件: p 1 ( x 1 , y 1 , z 1 ) , p 2 ( x 2 , y 2 , z 2 ) p_1(x_1,y_1,z_1),p_2(x_2,y_2,z_2) p1(x1,y1,z1),p2(x2,y2,z2)。此类问题称为 I C P ICP ICP问题。
解决方案:SVD分解,BA优化;
这里特意提一下BA优化,这是一种同用的非线性优化方法,在SLAM中应用非常广泛。
优缺点分析
对极约束对于采集图像的硬件要求低,有着较低的成本,但是求解得到 R , t R,t R,t有着尺度问题,需要在一开始对 t t t进行归一化。与此同时,需要利用三角测量才能知道特征点的深度信息。
PnP与ICP问题在SLAM中常常混合出现,因为采集的图像可能出现部分图像没有深度信息。因此,采用双目或RGB-D相机避免了尺度问题,但增加了硬件成本。
参考文献:https://blog.csdn.net/u014709760/article/details/88059000