相机标定与三维重建原理

《基于序列图像的视觉检测理论与方法》

1、相机标定：

定义：检查和校准数码相机的内方位元素和光学畸变参数。
标定方法：从传统的三维空间控制场向二维平面控制场转变。计算机视觉界提出了许多利用主动视觉技术进行自标定的方法，但耗时、或者需要部分已知相机运动参数，无法满足高精度需求。

1.1 双目立体视觉

摄像机1：摄像机坐标系，像平面坐标系，焦距C1；

摄像机2：。。

2相机的空间位置关系：

将相机1的坐标系Oc1Xc1Yc1Zc1作为双目视觉的传感器坐标系OsXsYsZs，得到空间被测点在双目传感器坐标系下的坐标(Xs,Ys,Zs).

空间被测点的三维坐标：

****************************************************************************************************************************************************************************************

2、三维测量

摄影测量界现有的三维测量方法：大型三维坐标量测设备（贵、效率低）、莫尔纹法（精度与光栅间距有关）、牛顿环（精度高，适用于纵深不大的光学元件）、结构光法（精度不高，适用于缺乏纹理的物体）。计算机视觉中的三维测量：需要利用多台相机及结构光投影器，多台相机标定的误差影响三维量测精度。

3、多视角几何

《图像处理、分析与机器视觉》

3.1 计算机视觉多视角几何multiple view geometry

• 从摄影测量学发展而来，摄影测量学的方法是假定事先精确标定了特殊、昂贵的摄像机，图像的点人工测量，且需要高精度；
• 3D计算机视觉：利用一般、现成的摄像机，部分标定或没有标定，处理图像测量时不精确，能够实现任务全自动化，如：未知视频序列的点和摄像的三维重建www.2d3.com、从3D场景大量不同视角的视图自动重建【Cornelius，2004】[Faugeras,1993;Hartley and Zisserman,203;Ma,2004]。
• 多视角几何的数学工具：射影几何projective geometry

• 透射投影perspective projection(也称作中心投影central projection)

3.2 从已知场景标定一个摄像机：摄像机校准camera resectioning

从一组图像场景对应点中计算摄像机的投影矩阵M

图像点： (图像点三维齐次向量)         场景对应点：（场景点四维齐次向量）

，有11个自由参数

3.3 从多视图重建场景

• 方式一：给出了图像点u和摄像机矩阵M，只需要计算三维场景点X；使用三角测量法。

三角测量法triangulation: 有n个视图，需求解齐次线性方程组：

• 方式二：不知道摄像机矩阵。也就是说，场景点和摄像机矩阵都不知道，需要从已知的图像点中计算出来。

射影重建projective reconstruction：（与方式一不同，是非线性的方程组）

解决方法：第一步，通过求解线性方程组来估计匹配约束（matching constraints）中的系统，从而从图像点中计算摄像机矩阵的不太精确的估计；第二步，通过最大似然估计（光束平差法）精确计算。

• 匹配约束：两个视图的，是极线约束epipolar constraint
• 光束平差：由于计算投影重建的时候有许多对应点可用，需要采用非线性最小二乘(Levenberg-Marquardt)求解，以最小化二次投影误差。针对这个问题的非线性最小二乘法来自于摄影测量中的光束平差法Bundle adjustment。
• 对于视频摄像头获取的图像序列（相邻帧间位移很小）的投影重建[Fitzgibbon and Zisserman,1998];
• 事先对摄像机位置丝毫不知，图像没有规律的投影重建[Cornelius,2004]
• 一种视频序列的重建方法：

1. 从两幅图像中估计出本质矩阵，进行投影重建；
2. 分解出摄像机矩阵
3. 通过三角测量计算三维点，并进行光束平差
4. 根据已经重建的三维点和在第三幅图像中的对应点利用校准法计算第三个摄像机的矩阵，再次进行光束平差。
5. 对后续帧重复执行。

3.4 自标定(self-calibration)：

利用一些附加的信息，使得投影重建转换为仿射变换、相似变换或欧式变换。等价于寻找摄像机的内参。

可以采用的方法，在摄像机的内参或外参上施加约束。可以利用消失点vanishing points，这些点指定了场景中互相正交的三个方向（一个垂直方向，两个水平方向）。

摄像机内参校准：

《视觉测量原理与方法》

1. 方法：非线性优化技术（对包含所有摄像机参数的非线性模型求解，精确）、线性法（用最小二乘法获取三维特征点与二维像点之间的变换矩阵，通过矩阵分解获得内参，简单快速，但未考虑非线性畸变，精度受影响）、两步法（先用线性方法计算摄像机某些参数，然后利用解得的参数考虑畸变因素，代入非线性算法迭代求解）、双平面校准法；