OpenCV相机标定原理及实现(普通相机标定、鱼眼相机标定)

前言

OpenCV相机标定包括普通相机标定和鱼眼相机标定，其中普通相机标定参考的是张正友标定法，而鱼眼相机的标定是基于等距投影模型进行标定的．

普通相机标定

张正友标定法

(1) 针孔模型内外参标定

针孔相机投影模型方程:
$$s\tilde{\mathbf{m}}=\mathbf{A}\left[\begin{array}{cc}\mathbf{R}& \mathbf{t}\end{array}\right]\tilde{M}\text{\hspace{1em}(1)}$$
式中$\tilde{M}$表示世界坐标系下三维空间点坐标，$\tilde{\mathbf{m}}$表示对应的投影像素坐标，$\mathbf{A}$表示相机内参，$\left[\begin{array}{cc}\mathbf{R}& \mathbf{t}\end{array}\right]$表示相机外参(世界坐标系与相机坐标系之间的坐标变换关系)，$s$表示任意尺度因子．
对公式(1)进行展开，可得下式:
$$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathbf{A}\left[\begin{array}{cccc}{\mathbf{r}}_1& {\mathbf{r}}_2& {\mathbf{r}}_3& \mathbf{t}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\text{\hspace{1em}(2)}$$
式中$({\mathbf{r}}_1,{\mathbf{r}}_2,{\mathbf{r}}_3)$表示旋转矩阵$\mathbf{R}$的三个列向量．将世界坐标系定义在一块标定板上(z轴垂直与标定板平面)，则标定板上任意三维空间点坐标可表示为$(X,Y,0)$，基于此定义，可将公式(2)简化为:
$$s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathbf{A}\left[\begin{array}{ccc}{\mathbf{r}}_1& {\mathbf{r}}_2& \mathbf{t}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\mathbf{H}\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]\text{\hspace{1em}(3)}$$
设$\mathbf{H}=\left[\begin{array}{ccc}{\mathbf{h}}_1& {\mathbf{h}}_2& {\mathbf{h}}_3\end{array}\right]$，则有:
$$\left[\begin{array}{ccc}{\mathbf{h}}_1& {\mathbf{h}}_2& {\mathbf{h}}_3\end{array}\right]=\lambda \mathbf{A}\left[\begin{array}{ccc}{\mathbf{r}}_1& {\mathbf{r}}_2& \mathbf{t}\end{array}\right]\text{\hspace{1em}(4)}$$
将$\mathbf{A}$移到公式(4)左边，有:
$$\left[\begin{array}{ccc}{\mathbf{A}}^{-1}{\mathbf{h}}_1& {\mathbf{A}}^{-1}{\mathbf{h}}_2& {\mathbf{A}}^{-1}{\mathbf{h}}_3\end{array}\right]=\lambda \left[\begin{array}{ccc}{\mathbf{r}}_1& {\mathbf{r}}_2& \mathbf{t}\end{array}\right]\text{\hspace{1em}(4)}$$
由于$({\mathbf{r}}_1,{\mathbf{r}}_2)$是旋转矩阵$\mathbf{R}$的两个列向量，并且旋转矩阵是正定的，所以$({\mathbf{r}}_1,{\mathbf{r}}_2)$是标准正交向量组，即满足下式:
$$\{\begin{array}{c}{\mathbf{r}}_1\cdot {\mathbf{r}}_2=0=({\mathbf{A}}^{-1}{\mathbf{h}}_1{)}^T({\mathbf{A}}^{-1}{\mathbf{h}}_2)={\mathbf{h}}_1^T{\mathbf{A}}^{-T}{\mathbf{A}}^{-1}{\mathbf{h}}_2\\ {\mathbf{r}}_1\cdot {\mathbf{r}}_1=1=({\mathbf{A}}^{-1}{\mathbf{h}}_1{)}^T({\mathbf{A}}^{-1}{\mathbf{h}}_1)={\mathbf{h}}_1^T{\mathbf{A}}^{-T}{\mathbf{A}}^{-1}{\mathbf{h}}_1\\ {\mathbf{r}}_2\cdot {\mathbf{r}}_2=1=({\mathbf{A}}^{-1}{\mathbf{h}}_2{)}^T({\mathbf{A}}^{-1}{\mathbf{h}}_2)={\mathbf{h}}_2^T{\mathbf{A}}^{-T}{\mathbf{A}}^{-1}{\mathbf{h}}_2\end{array}\text{\hspace{1em}(5)}$$
简化公式(5)可得:
$$\{\begin{array}{c}{\mathbf{h}}_1^T{\mathbf{A}}^{-T}{\mathbf{A}}^{-1}{\mathbf{h}}_2=0\\ {\mathbf{h}}_1^T{\mathbf{A}}^{-T}{\mathbf{A}}^{-1}{\mathbf{h}}_1={\mathbf{h}}_2^T{\mathbf{A}}^{-T}{\mathbf{A}}^{-1}{\mathbf{h}}_2\end{array}\text{\hspace{1em}(6)}$$
将公式(6)中的 ${\mathbf{A}}^{-T}{\mathbf{A}}^{-1}$ 看成一个整体，可以将其转换成齐次方程组${\mathbf{A}}_{\mathbf{i}}\mathbf{x}=0$的形式，由于 ${\mathbf{A}}^{-T}{\mathbf{A}}^{-1}$ 的自由度为6，因此至少需要三组匹配点构成至少6个方程来求解齐次方程组中的$\mathbf{x}$，对于齐次方程组的求解可利用svd方法，此处求解的详细过程是简单的数值分析的知识(略)．通过多组匹配点求解出相机内参矩阵$\mathbf{A}$之后，可通过下式计算出外参矩阵:
$$\begin{array}{rl}{\mathbf{r}}_1& =\lambda {\mathbf{A}}^{-1}{\mathbf{h}}_1\\ {\mathbf{r}}_2& =\lambda {\mathbf{A}}^{-1}{\mathbf{h}}_2\\ {\mathbf{r}}_3& ={\mathbf{r}}_1\times {\mathbf{r}}_2\\ \mathbf{t}& =\lambda {\mathbf{A}}^{-1}{\mathbf{h}}_3\end{array}\text{\hspace{1em}(7)}$$

(2) 引入畸变模型

张正友标定法中只考虑了径向畸变，其畸变方程如下:
$$\left[\begin{array}{cc}(u-u_0)(x^2+y^2)& (u-u_0)(x^2+y^2{)}^2\\ (v-v_0)(x^2+y^2)& (v-v_0)(x^2+y^2{)}^2\end{array}\right]\left[\begin{array}{c}{k}_1\\ k_2\end{array}\right]=\left[\begin{array}{c}\check{u}-u\\ \check{v}-v\end{array}\right]\text{\hspace{1em}(8)}$$
式中 $(u,v)$ 表示理想的通过针孔模型获得的投影像素坐标， $(\check{u},\check{v})$ 表示实际的投影像素坐标．通过式(8)可以看出一对配对点可以构建两个方程，因此通过多对匹配点构建超定方程，然后再通过SVD分解或者QR分解来求解构建的超定方程，从而可以获得畸变系数 $(k_1,k_2)$．在获得畸变系数之后可以对先前计算获得的内外参数进行精细化，其方法是通过构建重投影残差方程，然后通过优化残差获得精细化的内外参数及畸变系数，残差方程构建如下:
$${\Sigma }_{i=1}^n{\Sigma }_{j=1}^m{\Vert {\mathbf{m}}_{ij}-\check{\mathbf{m}}(\mathbf{A},k_1,k_2,{\mathbf{R}}_i,{\mathbf{t}}_i,{\mathbf{M}}_j)\Vert }^2\text{\hspace{1em}(9)}$$
式中 ${\mathbf{m}}_{ij}$ 表示世界坐标系下的点 ${\mathbf{M}}_j$ 在第$j$张图像上的投影点，$\check{\mathbf{m}}$ 表示通过内外餐及畸变系数计算出的投影点坐标．上述方程组是非线性方程组，可通过高斯牛顿或LM方法进行迭代求解，至此实现了相机的所有参数的标记: 内参、外参、畸变系数．

(3) 标定流程

1. 打印标定板并粘贴到平面上
2. 在相机镜头前移动标定板获取几张照片
3. 检测图像中的特征点(标定板角点)
4. 使用公式(6)构建的方程组计算相机内参和外参
5. 使用公式(8)计算相机畸变
6. 使用公式(9)对相机内外参和畸变系数进行进一步精细化．

OpenCV标定算法

OpenCV对于普通相机的标定方法基本上与张正友标定法一致，只是其考虑了相机的径向畸变和桶形畸变，分别如下：
径向畸变:

桶形畸变:

因此其畸变参数为$(k_1,k_2,p_1,p_2,p_3)$. 其余参数和流程与张正友标定一致．

鱼眼相机标定

OpenCV中将鱼眼相机区分开进行标定，原因是等距投影模型更能真实的刻画鱼眼相机的投影过程，其投影方程如下:

上面公式中$\mathbf{X}$表示世界坐标系下的三维点，$(\mathbf{R},\mathbf{t})$表示相机外参， ${\mathbf{X}}_c$表示相机坐标系下的三维点，$(u,v)$为投影的像素坐标．该投影模型与普通相机的投影模型相比反而更简单，其标定的参数包括相机内参$(f_x,f_y,c_x,c_y)$，外参$(\mathbf{R},\mathbf{t})$，以及畸变系数$(k1,k2,k3,k4)$．标定的过程与普通相机的标定过程基本一致，只是投影模型不一样而已，最后也是构建重投影残差方程，然后优化方程获取相机的内外参及畸变系数．

标定程序

https://github.com/chennuo0125-HIT/opencv_demo/tree/master/calibrate

标定结果