相机标定

1. 相机标定简介

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定（或摄像机标定）。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。

2. 相机标定方法

相机标定方法有：传统相机标定法、主动视觉相机标定方法、相机自标定法。

传统相机标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机模型的内外参数。根据标定物的不同可分为三维标定物和平面型标定物。三维标定物可由单幅图像进行标定，标定精度较高，但高精密三维标定物的加工和维护较困难。平面型标定物比三维标定物制作简单，精度易保证，但标定时必须采用两幅或两幅以上的图像。传统相机标定法在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物也限制了传统相机标定法的应用。

目前出现的自标定算法中主要是利用相机运动的约束。相机的运动约束条件太强，因此使得其在实际中并不实用。利用场景约束主要是利用场景中的一些平行或者正交的信息。其中空间平行线在相机图像平面上的交点被称为消失点，它是射影几何中一个非常重要的特征，所以很多学者研究了基于消失点的相机自标定方法。自标定方法灵活性强，可对相机进行在线定标。但由于它是基于绝对二次曲线或曲面的方法，其算法鲁棒性差。

基于主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定。该方法不需要标定物，但需要控制相机做某些特殊运动，利用这种运动的特殊性可以计算出相机内部参数。基于主动视觉的相机标定法的优点是算法简单，往往能够获得线性解，故鲁棒性较高，缺点是系统的成本高、实验设备昂贵、实验条件要求高，而且不适合于运动参数未知或无法控制的场合。

3. 相机标定技术

3.1 基于离线相机标定

基于离线相机标定技术需要准确的相机内参数和外参数作为重构算法的输入和先决条件，目前最为流行的离线相机标定算法是Tsai在1987年提出的[Tsai1987]，Tsai方法使用一个带有非共面专用标定标识的三维标定物来提供图像点和其对应的三维空间点的对应并计算标定参数。Zhang在1998年提出了另一个实用方法 [Bouguet2007]，该方法需要对一个平面标定图案的至少两幅不同视图来进行标定。加州理工学院的相机标定工具对以上两个方法均作了有效实现，并且已经被集成到Intel的视觉算法库OpenCV中[OpenCV2004]。通过标定算法，可以计算相机的投影矩阵，并提供场景的三维测度信息。在不给定真实场景的绝对平移、旋转和放缩参数的情况下，可以达到相似变换级别的测度重构。

3.2 基于在线相机标定

在很多场合下，如缺失标定设备或相机内参数持续改变的情况下，没有足够数据来支持离线相机标定，对这类场景的多视三维重构就要用到在线相机标定的技术。在线标定和离线标定框架的主要区别在于标定相机或估计相机参数的方法上。在大多数文献中在线标定技术被称为自标定。自标定方法可以大致分为两类：基于场景约束的自标定和基于几何约束的自标定。

3.2.1 基于场景约束的自标定

合适的场景约束往往能够在很大程度上简化自标定的难度。比如说，广泛存在于建筑或人造场景中的平行线能够帮助提供三个主正交方向的消视点和消视线信息，并能够据此给出相机内参数的代数解或数值解 [Caprile1990]。消视点的求解可以通过投票并搜索最大值的方法进行。Barnard采用高斯球构造求解空间 [Barnard1983]。Quan、Lutton和Rother等给出了进一步的优化策略[Quan1989, Lutton1994, Rother2000]。文献[Quan1989]中给出了搜索解空间的直接算法，Heuvel给出的改进算法加入了强制性的正交条件 [Heuvel1998]。Caprile给出了基于三个主正交方向消视点的几何参数估计法，Hartley使用标定曲线计算焦距 [Hartley2003]。Liebowitz等进一步从消视点位置构造绝对二次曲线的约束并用考克斯分解求解标定矩阵 [Liebowitz1999]。

3.2.2 基于几何约束的自标定

基于几何约束的自标定不需要外在场景约束，仅仅依靠多视图自身彼此间的内在几何限制来完成标定任务。利用绝对二次曲面作自标定的理论和算法最先由Triggs提出 [Triggs1997]。基于Kruppa方程求解相机参数则始于 Faugeras, Maybank等的工作 [Faugeras1992, Maybank1992]。Hartley给予基本矩阵推导出了Kruppa方程的另一个推导 [Hartley1997]。文献[Sturm2000]则给出了Kruppa方程的不确定性的理论探讨。层进式自标定技术被用于从射影重构升级到度量重构 [Faugeras1992]。自标定技术的一个主要困难在于它不是无限制地用于任意图像或视频序列，事实上，存在着特定运动序列或空间特征分布导致自标定求解框架的退化和奇异解。

4. 标定模板

标定模板（标定板 Calibration Target）　在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变；确定物理尺寸和像素间的换算关系；以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。而带有固定间距图案阵列的平板就是标定模板（标定板 Calibration Target）。

5. 相间标定原理

5.1 相机模型

相机成像可分为四个步骤：刚体变换、透视投影、畸变校正和数字化图像。

5.1.1 各个坐标系

确定空间某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型（各个坐标系），这些坐标系之间的转换参数就是相机参数，求解参数的过程叫做相机标定（摄像机标定）。建立立体视觉系统所需要的各个坐标系，包括世界坐标系、相机坐标系、以及图像坐标系（物理和像素坐标系）。
（1）世界坐标系
描述目标在真实世界中的位置引入的参考坐标系(Xw，Yw，Zw)
（2）相机坐标系
联系世界坐标系与图像坐标系的桥梁，一般取摄像机的光学轴为ｚ轴(Xc，Yc，Zc)
（3）图像物理坐标系
根据投影关系引入，方便进一步得到像素坐标，单位为毫米，坐标原点为摄像机光轴与图像物理坐标系的交点位置(x，y)
（4）图像像素坐标系
真正从相机内读到的信息，图像物理坐标的离散化，以像素为单位，坐标原点在左上角(u,v)

5.1.2 各个坐标系之间的转换关系

（1）世界坐标系与相机坐标系
这是将一个三维的坐标系转换成另一个三维的坐标系，这两个坐标系之间的转换属于刚体转换，物体只改变在两个坐标系中的空间位置(平移)和朝向(旋转),而不改变其形状。它们之间的转换关系可以用旋转矩阵Ｒ和平移矩阵Ｔ来完成，这两个矩阵反映了世界坐标系与相机坐标系之间的转换关系，合称外参矩阵Lw。获得了外参矩阵，这样已知世界坐标系中的一点通过转换关系就可以得到此点在相机坐标系的位置，反之亦成立。　
相机坐标系转换为世界坐标系转换方程为：


（2）相机坐标系与图像物理坐标系
这是一个将三维的坐标系转化为二维的坐标系，这两个坐标系之间的转换要通过几何投影模型关系获得，下面是两个坐标系的投影关系示意图：


（3）图像物理坐标系与图像像素坐标系
首先以一个形象的例子来说明两个坐标系间的区别。物理坐标系是一个连续的概念，它是以毫米为单位，就好比某一观众在电影院里的具体坐标值(3.4，5.9)；而像素坐标系是一个离散的概念，它是以像素作为单位，只能是整数值坐标，就好比某一观众在电影院里的位置是(第三排，第六列)。另外还需要注意的是，这两个坐标系的原点位置也不相同，物理坐标系将原点定为摄像机光轴与图像物理坐标系的交点位置，通常称其为主点；而像素坐标系则以像素图像的左上角为原点。