[计算机视觉] （五）立体视觉相机标定

目录

概述

特征匹配

极线约束

反对称矩阵

极线约束求解

---

概述

在立体视觉系统中，一般需要用两个摄像机，需要通过标定，测量双摄像机之间的相对位置，如图1所示。

图1 双目相机几何关系

用两个摄像机观察周围环境， 在标定中，我们可以分别得到两个摄像机各自的内外参数，外参数表示空间点的世界坐标和相机坐标的映射关系，两个三维坐标的映射涉及到旋转和平移，所以分别用R1、t1与R2、t2表示外参，R矩阵表征旋转，t向量表征平移。则R1、t1表征摄像机C1与世界坐标系之间的映射，R2、t2表征摄像机C2与世界坐标系的映射。对任意一点P，如它在世界坐标系、C1坐标系与C2坐标系下的非齐次坐标分别为、和，则

                                                                                        式(1)

                                                                                        式(2)

联立式(1)和式(2)得：

                                                                  式(3)

因此两个相机的相对几何位置关系可以使用以下的数学模型求取：

                                                                                                式(4)

                                                                                           式(5)

以上关系式表示，如果对双摄像机分别标定，得到R1、t1与R2、t2，则双摄像机的相对几何位置R和t可由式(4)与式(5)计算。在立体视觉系统中，数据是两个摄像机获得的图像与。如果p1、p2是空间同一点P在两个图像上的投影点，我们称p2为p1的对应点，反过来，p1是p2的对应点。在图像上任取一点p1，如果我们知道它在上的对应点p2的位置，则可以用立体视觉的方法计算空间点P的三维坐标，因此，立体视觉的关键问题是对中的每一点p1找出中的对应点p2的位置。

特征匹配

视觉测量时，需要对空间中的特征点在两幅或多幅图像中的图像坐标进行匹配。这些图像可能是不同的摄像机采集的，也可能是同一台摄像机在不同的视点采集的。所谓特征匹配，就是在不同的图像上找到同一个特征点的成像坐标。

图1所示为双目相机成像系统，场景点x为在摄像机的两个视点下均在视场内的一个空间点，O1和O2为摄像机在不同视点的光轴中心点，Π1和Π2为摄像机在不同视点的成像平面。

极(Epipolar)平面：场景点P与两个摄像机光轴中心点O1、O2构成的平面。如图1中的O1O2x平面；

极线：外极平面与成像平面的交线。如图1中的两条红色的线；

极点(Epipole)：两个摄像机光轴中心点O1、O2的连线与成像平面的交点。如图1中的点e1和e2；

基线(Base line)：两个摄像机光轴中心点O1、O2的连线。

                                                                      图2 双目相机的极线模型 

立体匹配（Stereo Matching）：场景点x在两个摄像机成像平面的对应点称为对应点（x1和x2）。寻找对应点的过程称为特征匹配，又称为立体匹配或图像配准。

极线约束

由摄像机的内外参数模型有：

                                 式(6)

其中的M向量定义为相机的基本映射矩阵，是一个3*4矩阵。

                                                                          式(7)

                                                                                       式(8)

于是，对于左右两个相机：

                                                                                         式(9)

将式(8)代入式(9)，得到：

                                                                                                        式(10)

将式(10)中的P消去，得到：

                                                            式(11)

式(11)的两边都是三维向量，即包含了三个等式，利用这三个等式消去和，就可以得到和的关系，这个关系就是极线约束。

反对称矩阵

三维向量，则下列矩阵为向量t的反对称矩阵，记为。

                                                                                            式(12)

反对称矩阵满足。是一个不满秩的不可逆矩阵，另一些特性：

1）任意三维向量r与向量t的叉积(向量积)满足：

2）任意满足的向量r与t只差一个常量因子，即。

极线约束求解

将式11的左边看成一个三维向量，即

                                                                                          式(13)

则有：

                                              式(14)

令，有：

                                                                        式(15)

右边的向量，该向量与正交，于是用左乘两边，得到：

                                                                                式(16)

式16就是两个图像的极线约束，在给定的情况下，式16就是一个关于的线性方程，即图2中的极线的方程，反过来也是一样。式16还说明，在其中一个向量确定后，线性方程由和两个矩阵决定。

所以，对于立体视觉相机，只需求出两个映射矩阵，就可求解双相机的相对位置和极限约束。

简化式(16):

                                                                                                              式(17)

F矩阵称为基本矩阵，是立体视觉中的一个重要概念，是要经常用到的概念。