相机标定技术原理（1）：张氏标定算法详解

相机标定方法综述

相机标定技术繁多，总体上可以分为三类：

1. 基于标定板的辅助标定
2. 基于世界属性的半自动标定
3. 相机的自标定（self-calibration）

1. 基于标定板的辅助标定

标定板标定方法的应用较为常见，历史早期得标定板为立体标定板，一般为两到三个相互垂直的平面，每个平面上有一些标记点，通过3D-2D投影关系估计相机的内参，立体标定板成本高，不易得到，使用不方便；张正友博士提出利用一个平面标定板依靠单应模型实现求解相机内外参数（外参数指相机得位姿），精度稳定，易于实现，成为最流行的相机标定技术，同时OpenCV采用该方法实现标定功能。¹本文着重论述此方法。

2. 基于世界属性的半自动标定

通过获取场景属性，如建筑物、道路等边缘平行线、垂直线段，也可实现标定内参数，具体原理详见下一篇介绍。

3. 相机的自标定

通过先验约束条件，如相机的skew因数为零，实现相机的内参数估计，此类方法在多视图几何有详细论述，另一篇会总结该思路。 ²

张氏标定算法详解

三维空间平面上的特征点与其像点存在单应关系（homography）, 利用该约束可以构造关于内参得方程组求解未知参数。

1. 约束方程推导

采用齐次坐标表达，设世界坐标系原点在（标定板）平面上，xOy平面与平面重合
$$x=K\left[\begin{array}{cc}R& t\end{array}\right]X\text{\hspace{1em}(1.1)}$$
其中，
$$K=\left[\begin{array}{ccc}\alpha & \gamma & u\\ 0& \beta & v\\ 0& 0& 1\end{array}\right]\text{\hspace{1em}(1.2)}$$
$$R=\left[\begin{array}{ccc}{r}_1& r_2& r_3\end{array}\right]\text{\hspace{1em}(1.3)}$$
由于X的第三个元素为0，
$$x=K\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}a\\ b\\ 1\end{array}\right]\text{\hspace{1em}(1.4)}$$
则存在，
$$x=H{X}^{{}^{\prime }}\text{\hspace{1em}(1.5)}$$
其中，
$$X^{{}^{\prime }}=\left[\begin{array}{c}a\\ b\\ 1\end{array}\right]\text{\hspace{1em}(1.6)}$$

由等式1.3与1.4
$$H=\lambda K\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\text{\hspace{1em}(1.7)}$$
$\lambda$为比例因子，设
$$H=\left[\begin{array}{ccc}{h}_1& h_2& h_3\end{array}\right]\text{\hspace{1em}(1.8)}$$
$r_1$与$r_2$为正交单位向量，则有
$$h_1^T{K}^{-T}{K}^{-T}{h}_2=0\text{\hspace{1em}(1.9)}$$
$$h_1^T{K}^{-T}{K}^{-1}{h}_1=h_2^T{K}^{-T}{K}^{-1}{h}_2\text{\hspace{1em}(1.10)}$$

2. 方程求解

令$B=K^{-T}{K}^{-1}$，
$$B=\left[\begin{array}{ccc}\frac{1}{{\alpha }^2}& -\frac{\gamma }{{\alpha }^2\beta }& \frac{v\gamma -u\beta }{{\alpha }^2\beta }\\ -\frac{\gamma }{{\alpha }^2\beta }& \frac{{\gamma }^2}{{\alpha }^2{\beta }^2}+\frac{1}{{\beta }^2}& -\frac{\gamma (v\gamma -u\beta )}{{\alpha }^2{\beta }^2}-\frac{v}{{\beta }^2}\\ \frac{v\gamma -u\beta }{{\alpha }^2\beta }& -\frac{\gamma (v\gamma -u\beta )}{{\alpha }^2{\beta }^2}-\frac{v}{{\beta }^2}& \frac{(v\gamma -u\beta {)}^2}{{\alpha }^2{\beta }^2}+\frac{v^2}{{\beta }^2}+1\end{array}\right]\text{\hspace{1em}(1.11)}$$
$b=\left[\begin{array}{cccccc}{B}_{11}& B_{12}& B_{22}& B_{13}& B_{23}& B_{33}\end{array}\right]$，令式(1.5)中H的第i列为$h_i={\left[\begin{array}{ccc}{h}_{i1}& h_{i2}& h_{i3}\end{array}\right]}^T$，令$v_{ij}={\left[\begin{array}{cccccc}{h}_{i1}{h}_{j1}& h_{i1}{h}_{j2}+h_{i2}{h}_{j1}& h_{i2}{h}_{j2}& h_{i1}{h}_{j3}+h_{i3}{h}_{j1}& h_{i2}{h}_{j3}+h_{i3}{h}_{j2}& h_{i3}{h}_{j3}\end{array}\right]}^T$

由式(1.9)，(1.10)，
$$\left[\begin{array}{c}{v}_{12}^T\\ (v_{11}-v_{22}{)}^T\end{array}\right]b=0\text{\hspace{1em}(1.12)}$$

从1帧图像估计的单应矩阵H可以获得2个标定方程，设有n张标定板图像，则可构成
$$Vb=0\text{\hspace{1em}(1.13)}$$
其中，V是2n x 6大小的矩阵

式(1.13)为齐次方程，可采用SVD求得b，利用下式获得内参：

进一步可以求得相机外参，即位姿参数：

3. 参数优化

上述推导过程假设相机是理想的针孔相机模型，没有考虑镜头畸变问题，同时上述求解过程是一个代数解法，结果不是最优参数，可以相机内外参数、畸变系数为待优化参数最小化重投影误差，利用LM算法求得最优估计。

---

1. Z. Zhang, “A flexible new technique for camera calibration,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, Nov. 2000.
   doi: 10.1109/34.888718 ↩︎

2. Hartley R, Zisserman A. Multiple view geometry in computer vision[M]. Cambridge university press, 2003. ↩︎