标定基础知识

标定的目的

想要利用视觉技术进行定位或测量，必然要知道由图像至现实物体的数学模型，而且也期望相机拍摄的图像能够准确的反应现实物体，然而现实物体经过镜头相机等元器件成像后并不能非常精准的成像，图像多少都会出现一些偏差，如何消除这些偏差呢，这就需要知道现实物体到图像的数学模型，即需要知道数学模型中的那些参数导致了图像发生变形，这样才能对其进行修正。综上所述，只要知道了相机的成像数学模型，就能对图像进行修正，就能反推出图像到现实物体的关系，这就是标定的目的，即获得相机的成像数学模型(其实标定相机就是为了确定相机内参)。

想要获得数学模型就要弄清楚，相机的成像过程发生了什么变化。人们在这个变化中定义了四个坐标系：世界坐标系、相机坐标系、图像坐标系和像素坐标系。物体经过这四个坐标系的变换以及镜头的畸变最终投影成图像。那么我们只要获得这四个坐标系之间的转换关系和畸变系数即得到了相机的数学模型。下面分别介绍四大坐标系和畸变系数。

四大坐标系

下图展示了四大坐标系，其中点P是世界坐标系中的一点。

世界坐标系：$O_W$、$X_W$、$Y_W$、$Z_W$，单位m。可以自由定义，这个说法我认为在初学者看来很奇怪，自由定义如何表示坐标呢，坐标系都不固定如何得到坐标值？在标定过程中是将标定板的平面定义为$X_W$、$Y_W$且设$Z_W=0$，这样坐标值就固定了，但是这里依然很奇怪，世界坐标是随着标定板移动而移动的，虽然标定板上的坐标是确定的，但是虽然标定板的移动，图像上的像素坐标是变化的啊，这些没有基准的值对于求解模型有什么意义？世界坐标到相机坐标的转换即外参对于每张不同的标定图像是不一样的，这个外参不重要，变化不变化没关系，我们只是在构建求解相机模型过程中使用它得出了不变的内参和畸变系数。

相机坐标系：$O_C$、$X_C$、$Y_C$、$Z_C$，单位m。以摄像机光心为原点$O_C$，光轴为$Z_C$，$Z_C$正方向指向相机前方。

图像坐标系：$o$,$x$,$y$，单位mm。本来是在$O_C$的后方$f$(焦距)处，为了方便放到了$O_C$前方f处。

像素坐标系：$u$,$v$，单位是像素，与图像坐标系在同一个平面，只是原点在图像的左上角。

为了解了四大坐标系，下面来介绍坐标系之间的转换。

世界坐标系至相机坐标系

世界坐标系至相机坐标系是一个刚体变换的过程即经过旋转和平移变换。假设空间中的一个点P在世界坐标系中表示为：
$$P_w=\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right)$$
该点P在相机坐标系中的表示为：
$$P_c=\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right)$$
那么想要将该点由世界坐标系变换至相机坐标系的话，需要先将其旋转一定角度再平移一段距离。那么旋转矩阵由$R$表示，平移矩阵由$T$表示，那么变换公式为$P_c=R\ast P_w+T$,其中旋转矩阵$R=\left(\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right)$，平移矩阵$T=\left(\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right)$，在笛卡尔坐标系下变换公式如下所示：
$$P_c=\left(\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right)P_w+\left(\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right)$$
如果使用齐次坐标，则可以将旋转和平移两个矩阵合并为一个矩阵，如下所示：
$$\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)=\left(\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)$$

相机坐标至图像坐标

相机坐标系和图像坐标系之间的关系图如下所示，其中空间一点$M$在相机坐标系的坐标为$X_c$,$Y_c$,$Z_c$，在相机坐标系中的投影为点$m$，坐标为$x$,$y$。

根据三角形相似原理我们可以得到：
$$\{\begin{array}{r}\frac{x}{f}=\frac{X_c}{Z_c}\\ \frac{y}{f}=\frac{Y_c}{Z_c}\end{array}\Rightarrow \{\begin{array}{r}{Z}_c\cdot x=f\cdot X_c\\ Z_c\cdot y=f\cdot Y_c\end{array}$$
将上式用矩阵表示如下：
$$Z_c\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)$$

图像坐标至像素坐标

图像坐标系和像素坐标系之间的关系图如下所示，两者是重合的，只是像素坐标系的中心在图像的左上角，且图像坐标系的单位是mm而像素坐标系的单位是像素。

根据上图可知图像坐标系和像素坐标系之间的转换其实就是单位的转换以及中心点偏移。图像中心的坐标是像素值$u_0$,$v_0$，假设图像上某点$p(x,y)$在像素坐标下表示为$p(u,v)$，那么两只之间的转换公式如下所示，其中$dx,dy$表示一个像素的大小即像元尺寸。
$$\{\begin{array}{r}u=\frac{x}{dx}+u_0\\ y=\frac{y}{dy}+v_0\end{array}$$
将上式用矩阵表示如下：
$$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$$
到这里四大坐标系之间的关系就介绍完了，其中世界坐标系到相机坐标系是相机模型的外参：
$$\left(\begin{array}{cc}R& T\\ 0^T& 1\end{array}\right)$$
从相机坐标系再到像素坐标系是相机模型的内参，如下所示，其中$f_x=\frac{f}{dx}$，$f_y=\frac{f}{dy}$。
$$Z_c\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)$$
这里或许还会有一个疑问，买来的相机和镜头已经知道它们的像元尺寸和焦距了，还需要通过标定求吗？我是这么理解的，因为制作工艺的原因，设备的规格参数不会完全等于给定的参数，因此需要通过标定获取更加精确的值。

畸变系数

相机模型除了上述的外参、内参还包括畸变系数，即现实物体经过镜头后会发生径向畸变和切向畸变。畸变系数的数学模型有除法模型和多项式模型，下面分别进行介绍。

径向畸变

径向畸变产生的原因是光线在远离镜头中心的位置比靠近中心的位置更加弯曲，这种畸变分为枕形畸变和桶形畸变，如下图所示：

径向畸变的多项式数学表达式如下所示，其中$k_1,k_2,k_3$就是径向畸变系数。
$$\begin{gathered} x_0=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6) \\ {y}_0=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6) \end{gathered}$$

径向畸变的除法模型数学表达式如下所示，其中$k$是畸变系数。
$$\begin{gathered} x_0=\frac{x}{1+k(x^2+y^2)} \\ {y}_0=\frac{y}{1+k(x^2+y^2)} \end{gathered}$$

切向畸变

切向畸变是由于透镜本身与相机传感器平面（成像平面）或图像平面不平行而产生的，其多项式数学表达式如下所示，切向畸变系数是$p_1,p_2$.
$$\begin{gathered} x_0=x+[2p_{1}y+p_2(r^2+2x^2)] \\ {y}_0=y+[2p_{2}x+p_1(r^2+2y^2)] \end{gathered}$$
切向畸变的除法数学模型没有找到介绍的资料

张正友标定法

通过上述的介绍，我们了解到相机模型的参数分为内参、外参和畸变系数。那么如何求出这些参数呢？张正友给出的方法是通过拍摄多张棋盘格标定板进行标定求解。假设世界坐标系的$x,y$轴与标定板重合，$z$轴等于0，且该标定板的各个角点是已知的，拍摄的图片中的各个角点像素值也是已知的，通过这些数据即可以求出相机模型参数。这里不进行数学公式的罗列了，大概思路如下：

1.打印标定图案并粘贴至一个平面上，称之为标定板。

2.通过移动相机或移动标定板在不同的位姿拍摄多张标定板图像（图像数>=3）。

3.在所有图像上检测特征点（角点或者圆心点）。

4.使用闭合解法求解所有内参数和外参数。

5.通过线性方程组求解近似的畸变系数（或者直接赋值为0）。

6.通过非线性优化计算精确的内外参数和畸变系数。

其中的第4点闭合解也称为解析解，就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解。就是类似做数学题，利用条件和公式求解。这个求解的过程是没有考虑畸变系数的，因此这个解不是最终解，将其和第五点得到的近似畸变系数作为非线性优化的初始值再进一步求得最优解。因为求解相机模型是一个非线性优化的过程，所以合适的初始值非常重要，这样可以使得重复标定所得到的参数差距不会太大，也就是鲁棒性高。下面给出非线性优化的目标函数：
$$\sum _{i=1}^n\sum _{j=1}^m{\Vert \begin{array}{c}{m}_{ij}-\stackrel{\prime }{m}(A,k_1,k_2,R_i,t_i,M_j)\end{array}\Vert }^2$$
上式中$i$表示第$i$张图片，$j$表示第$i$个图片中的第$j$个角点，$m_{ij}$表示拍摄的图片的角点坐标，$\stackrel{\prime }{m}(A,k_1,k_2,R_i,t_i,M_j)$表示标定板上的三维点使用求得的相机模型计算得到的角点坐标，两者之间的差值就是目标函数的物理意义。

在实际标定中，同一个相机每次标定的值也是不一样的，因为非线性优化求得的解不是唯一的，可能每次都接近理想值，但是都落在了附近的局部最优中。

张正友标定法最大的意义是通过简单的二维标定板求得闭合解，将世界坐标系定义在标定板上且Z=0，那么世界坐标系下的标定板变成了一个二维图像，它和像素坐标系中的图像之间的存在一个由单应性矩阵联系的变换，也存在一个由内外参联系的变换，单应性矩阵可以通过单张图像求得，那么拍摄多个标定板图像就可以获得多个单应性矩阵和内外参矩阵之间的关系，即获得了多个关于内外参的行列式，即可以确定内外参。这里只是简单说一下，其中有很多公式后续再补充。

总结

经过上述介绍，其实我们完成了单目相机的标定。双目相机除了需要求得各个相机的模型外还需要利用同时拍的标定图像求得两个相机之间的位姿关系$(R,t)$。根据两相机之间的位姿关系才可以进行的极线校正，使得两幅图像的相同特征点在一条水平线上，目的是减少特征点的匹配搜索范围，进行特征点匹配后得出视差图，最后得出深度图生成点云数据。