针孔相机的标定原理与实现

1. 什么是相机标定？

为了确定空间物体表面上的某点位置和图像中对应点像素坐标位置之间的关系，必须建立转换的模型。这个模型也就是相机参数。计算相机参数的过程称为相机标定。

2. 相机标定的方法分类？

相机标定方法可分成以下三类：

1. 传统的相机标定
2. 自标定
3. 基于主动视觉的标定

3. 针孔相机的模型是怎样的？

在物体和平面之间放一块带着小孔的障碍物，光线通过小孔后会在平面上呈现一个倒立的像。这个简单的模型就是针孔相机模型。如下图所示：

将上面的模型更加规范化。
针孔被称为相机中心:$O$
平面被称为成像平面(image plane):$\Pi$
成像平面和针孔之间的距离被称为焦距(focal length):$f$
从针孔出发垂直于成像平面的轴被称为光轴
相机坐标系(camera coordinate)$[ijk]$，原点位于镜头光心处，k轴为光轴。
有时，为了方便计算，将成像平面放在针孔和物体之间，称为虚拟成像平面。

假设$P$的坐标为$(x,y,z)$，$P^{\prime }$是$P$的投影，坐标为$(x^{\prime },y^{\prime })$，那么根据相似三角形对边成比例原则。有
$\frac{x}{x^{\prime }}=\frac{z}{f}$以及$\frac{y}{y^{\prime }}=\frac{z}{f}$。

$$P^{\prime }=(x^{\prime },y^{\prime })=(f\frac{x}{z},f\frac{y}{z})$$

4. 相机矩阵的参数介绍

4.1 内参矩阵$K$

$$K=\left[\begin{array}{ccc}\alpha & 0& c_x\\ 0& \beta & cy\\ 0& 0& 1\end{array}\right]$$

1. 参数$(c_x,c_y)$是平移向量，如上图所示，成像平面的中心点是$C^{\prime }$，而数字图像的坐标原点通常是在成像平面上图像的左上角。所以$C^{\prime }$在数字图像上位于图像的中心。
   $$P^{\prime }=(x^{\prime },y^{\prime })=(f\frac{x}{z}+c_x,f\frac{y}{z}+c_y)$$
   

2. 数字图像使用像素表示的，成像平面上的像大小是用物理长度度量的。我们用单位长度(厘米)包含的像素个数来描述像素的密度(pixels/cm)。记$k$表示水平方向的像素密度，$l$表示垂直方向的像素密度。如果$k=l$则表示像素是个方形像素。
   像素密度$\times$物理位置=像素位置
   所以$$P^{\prime }=(x^{\prime },y^{\prime })=(kf\frac{x}{z}+c_x,lf\frac{y}{z}+c_y)$$记$\alpha =kf,\beta =lf$
   $$P^{\prime }=(x^{\prime },y^{\prime })=(\alpha \frac{x}{z}+c_x,\beta \frac{y}{z}+c_y)$$
   以齐次坐标的形式进行表示：
   $$P^{\prime }=\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right)=\left(\begin{array}{c}\alpha \frac{x}{z}+c_x\\ \beta \frac{y}{z}+c_y\\ 1\end{array}\right)=\left(\begin{array}{c}\alpha x+z{c}_x\\ \beta y+z{c}_y\\ z\end{array}\right)=\left(\begin{array}{cccc}\alpha & 0& c_x& 0\\ 0& \beta & c_y& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)=K\left[\begin{array}{cc}I& 0\end{array}\right]P$$

4.2 外参矩阵$T$

$$T=\left[\begin{array}{cc}{R}_{3\times 3}& T_{3\times 1}\\ 0& 1\end{array}\right]$$上面讨论的内参矩阵都是基于相机坐标系进行的，有了内参矩阵，我们就可以把相机坐标系下的$P$点转化成像素坐标系下的$P^{\prime }$。而如果物体的坐标是任意给定的世界坐标，则需要把世界坐标转化成相机坐标。外参矩阵就是干这个活的。
所以世界坐标系的坐标$P_w$经过外参矩阵转换后就成为了相机坐标系下的坐标$P$
$$P=T{P}_w$$
总结：
$$P^{\prime }=K\left[\begin{array}{cc}I& 0\end{array}\right]T{P}_w=M_{3\times 4}{P}_w$$

5. 针孔相机标定的原理

相机矩阵$M$的未知参数有11个，理论上给出已知11组世界坐标和像素坐标点对，然后罗列线性方程组即可将11个未知参数求出来。
设$M=\left[\begin{array}{c}{m}_1\\ m_2\\ m_3\end{array}\right]$，则$P^{\prime }=\left[\begin{array}{c}{m}_1{P}_w\\ m_2{P}_w\\ m_3{P}_w\end{array}\right]=\left[\begin{array}{c}\frac{m_1{P}_w}{m_3{P}_w}\\ \frac{m_2{P}_w}{m_3{P}_w}\\ 1\end{array}\right]=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$。
$$\{\begin{array}{l}(m_3{P}_w)u-m_1{P}_w=0\\ (m_3{P}_w)v-m_2{P}_w=0\end{array}$$
如上式所示，每对点对就提供了两个限定方程。所以我们只需提供6对点对，即可求出11个未知参数。
假设我们提供的点对分别是:$<P_1,(u_1,v_1)>、<P_2,(u_2,v_2)>、\cdots 、<P_6,(u_6,v_6)>$。
罗列出方程组：

$$\{\begin{array}{l}(m_3{P}_1)u_1-m_1{P}_1=0\\ (m_3{P}_1)v_1-m_2{P}_1=0\\ (m_3{P}_2)u_2-m_1{P}_2=0\\ (m_3{P}_2)v_2-m_2{P}_2=0\\ ⋮\\ (m_3{P}_6)u_6-m_1{P}_6=0\\ (m_3{P}_6)v_6-m_2{P}_6=0\end{array}$$
以矩阵形式表示这个方程组：

$$\left[\begin{array}{ccccccccccc}{x}_1& y_1& z_1& 1& 0& 0& 0& 0& -u_1{x}_1& -u_1{y}_1& -u_1{z}_1\\ 0& 0& 0& 0& x_1& y_1& z_1& 1& -v_1{x}_1& -v_1{y}_1& -v_1{z}_1\\ ⋮& & & & & & & & & & \\ x_6& y_6& z_6& 1& 0& 0& 0& 0& -u_6{x}_6& -u_6{y}_6& -u_6{z}_6\\ 0& 0& 0& 0& x_6& y_6& z_6& 1& -v_6{x}_6& -v_6{y}_6& -v_6{z}_6\end{array}\right]\left[\begin{array}{c}{m}_{11}\\ m_{12}\\ m_{13}\\ m_{14}\\ m_{21}\\ m_{22}\\ m_{23}\\ m_{24}\\ m_{31}\\ m_{32}\\ m_{33}\\ m_{34}\end{array}\right]=\left[\begin{array}{c}{u}_1\\ v_1\\ ⋮\\ u_6\\ v_6\end{array}\right]$$
简写成
$$Km=U$$
使用最小二乘法求解向量$m$得：
$$m=(K^{T}K{)}^{-1}{K}^{T}U$$
这样矩阵$M$就被求出来了。
接下来我们通过矩阵$M$求解内参和外参。
已知$M=\left[\begin{array}{cc}K& 0\end{array}\right]T$即
$$\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]=\left[\begin{array}{cccc}\alpha & 0& c_x& 0\\ 0& \beta & c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\\ 0& 0& 0& 1\end{array}\right]$$
即
$$\left[\begin{array}{cc}{m}_1^T& m_{14}\\ m_2^T& m_{24}\\ m_3^T& m_{34}\end{array}\right]=\left[\begin{array}{cccc}\alpha & 0& c_x& 0\\ 0& \beta & c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{r}_1^T& t_1\\ r_2^T& t_2\\ r_3^T& t_3\\ 0^T& 1\end{array}\right]=\left[\begin{array}{cc}\alpha r_1^T+c_x{r}_3^T& \alpha t_1+c_x{t}_3\\ \beta r_2^T+c_y{r}_3^T& \beta t_2+c_y{t}_3\\ r_3^T& t_3\end{array}\right]$$
解得：
$$\{\begin{array}{l}{m}_{34}=\frac{1}{|m_3|}\\ r_3=m_{34}{m}_3\\ c_x=(\alpha r_1^T+c_x{r}_3^T)r_3=m_{34}^2{m}_1^T{m}_3\\ c_y=(\beta r_2^T+c_y{r}_3^T)r_3=m_{34}^2{m}_2^T{m}_3\\ \alpha =m_{34}^2|m_1\times m_3|\\ \beta =m_{34}^2|m_2\times m_3|\\ r_1=\frac{m_{34}}{\alpha }(m_1-c_x{m}_3)\\ r_2=\frac{m_{34}}{\beta }(m_2-c_y{m}_3)\\ t_1=\frac{m_{34}}{\alpha }(m_{14}-c_x)\\ t_2=\frac{m_{34}}{\beta }(m_{24}-c_y)\\ t_3=m_{34}\end{array}$$
综上所述，由空间6个坐标点以及它们的像素坐标，我们可以求出$M$矩阵。并可以求出内参和外参。

6. 获取空间坐标点

6.1 选择校准目标

可以从boofcv的网站上下载想要的校准图案。

参考资料：

1. CS231A Course Notes 1: Camera Models
2. 计算机视觉计算理论与算法基础-马颂德、张正友 著
3. Tutorial Camera Calibration