相机标定方法机理总结与公式推导（Camera calibration）

关于位姿测量的一些研究成果：

Camera calibration

研究现有相机标定的方法的步骤和机理，探讨主动视觉的标定新方法；

张正友法

1）标定模型的建立
$$\lambda p=K\left[{\mathbf{r}}_1{\mathbf{r}}_{2}t\right]\left[\begin{array}{c}{X}^w\\ Y^w\\ 1\end{array}\right]$$

$$\lambda p=H\hat{P}$$

$$H=\left[\begin{array}{lll}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]$$

2）单映性矩阵H的求解

将H矩阵变换成向量的形式：
$$h={\left[h_1,h_2,h_3,h_4,h_5,h_6,h_7,h_8,h_9\right]}^T$$
带入成像模型得到下式子，含有 8 个未知数，因此只需要获取到 4 个及以上的图像特 的空间参考点世界坐标，便可以利用最小二乘法求解得到 h ，进而恢复单映性矩阵 H；
$$\left[\begin{array}{ccccccccc}{X}^w& Y^w& 1& 0& 0& 0& -X^{w}u& -Y^{w}u& -u\\ 0& 0& 0& X^w& Y^w& 1& -X^{w}v& -Y^{w}v& -v\end{array}\right]h=\left[\begin{array}{l}0\\ 0\end{array}\right]$$
3）内参数的求解
$$\left[\begin{array}{lll}{\mathbf{h}}_1& {\mathbf{h}}_2& {\mathbf{h}}_3\end{array}\right]=sK\left[\begin{array}{lll}{\mathbf{r}}_1& {\mathbf{r}}_2& t\end{array}\right]$$
因为R为正交矩阵：
$${\mathbf{r}}_1^T{\mathbf{r}}_2=0\Vert {\mathbf{r}}_1\Vert =\Vert {\mathbf{r}}_2\Vert =1$$
可得到下列关系：
$$\{\begin{array}{c}{\mathbf{h}}_1^T{K}^{-T}{K}^{-1}{\mathbf{h}}_2=0\\ {\mathbf{h}}_1^T{K}^{-T}{K}^{-1}{\mathbf{h}}_1={\mathbf{h}}_2^T{K}^{-T}{K}^{-1}{\mathbf{h}}_2\end{array}$$

$$B=K^{-T}{K}^{-1}$$

B 为一个对称矩阵:
$$B=\left[\begin{array}{lll}{B}_{11}& B_{12}& B_{13}\\ B_{12}& B_{22}& B_{23}\\ B_{13}& B_{23}& B_{33}\end{array}\right]$$
将B矩阵变成向量形式，然后可得到如下关系：
$$\left[\begin{array}{c}{V}_{12}^T\\ {\left(V_{11}-V_{22}\right)}^T\end{array}\right]b=0$$
4）内外参数的优化求解

以上步骤得到的相机参数是从数值意义上得到的（即为数值解），并不具有物理意义。因此，Zhang 的方法接下来利用最大似然估计的方法，从物理意义上进一步优化求解以上参数。 对于拍摄的n幅图像（每幅图像上选择 m 个特征点），建立以空间特征点实际投影和理想投影误差最小为目标的代价函数：
$$K,R,t=\arg \min \left(\sum _{i=1}^n\sum _{j=1}^m\Vert p_{ij}-{\hat{p}\left(K,R,t,P_{ij}\right)|}^2\right)$$
通过将步骤 3）中计算得到的结果作为初值，带上式 ，利用 Levenberg-Marquardt 迭代 算法优化求解得到最终的相机内外参数。

通常情况下，相机的镜头是包含畸变的。因此，在综合考虑畸变和噪声的影响后：
$$K,R,t,k_1,k_2,p_1,p_2=\arg \min \left(\sum _{i=1}^n\sum _{j=1}^m\Vert p_{ij}-{\hat{p}\left(K,R,t,k_1,k_2,p_1,p_2,P_{ij}\right)|}^2\right)$$

加入相机二维纯旋转运动（俯仰运动和偏航运动）约束后：

$H$为相机内参数,$[R_1,T_1]$为初始相机外参数，$s$为尺度因子，$R_{Ti}$为第$i$幅图像与初始图像的旋转矩阵，可以通过经纬仪得到；
$$\begin{array}{r}\left[\begin{array}{c}{s}_i{\mathbf{p}}_i\\ s_i\\ 1\end{array}\right]=\left[\begin{array}{cc}\mathbf{H}& 0\\ 0& 1\end{array}\right]\times {\left[\begin{array}{cc}{\mathbf{R}}_{\mathrm{c}\mathrm{t}}& {\mathbf{T}}_{\mathrm{c}\mathrm{t}}\\ 0& 1\end{array}\right]}^{-1}\times \left[\begin{array}{cc}{\mathbf{R}}_{Ti}& 0\\ 0& 1\end{array}\right]\times \left[\begin{array}{cc}{\mathbf{R}}_{\mathrm{c}\mathrm{t}}& {\mathbf{T}}_{\mathrm{c}\mathrm{t}}\\ 0& 1\end{array}\right]\times \left[\begin{array}{cc}{\mathbf{R}}_1& {\mathbf{T}}_1\\ 0& 1\end{array}\right]\times \mathbf{P}\end{array}$$

$${\mathbf{R}}_{Ti}=\left[\begin{array}{ccc}\cos {\phi }_i& 0& -\sin {\phi }_i\\ 0& 1& 0\\ \sin {\phi }_i& 0& \cos {\phi }_i\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos {\psi }_i& \sin {\psi }_i\\ 0& -\sin {\psi }_i& \cos {\psi }_i\end{array}\right]$$

加入相机纯平移运动约束后：

极几何约束：

相机不同位置拍摄同一个点时，这两幅图存在如下约束：
$$x_1^T\left(t\times d_1{x}_1\right)=x_1^{T}t\times R{d}_0{x}_0$$

同一特征点点变焦距成像模型：

该模型包括 5 个坐标系：世界坐标系$O_w{X}_w{Y}_w{Z}_w$ 、变焦相机基坐标系$O_{c0}{X}_{c0}{Y}_{c0}{Z}_{c0}$ 、变焦相机动坐标系$O_{cn}{X}_{cn}{Y}_{cn}{Z}_{cn}$、图像物理坐标$O_{1xy}$、图像像素坐标系$O_{0uv}$；

当变焦相机的焦距位于任意位置fn时，物体的三维空间点P通过变焦相机的动坐标系光心$O_{cn}$，并映射到变焦相机的像平面上点$p_{cn}$位置。当变焦相机的焦距位于$f_0$时，点P通过变焦相机的基坐标系光心$O_{c0}$，并映射到变焦相机的像平面上点$p_{c0}$位置。

变焦相机动坐标系$O_{cn}{X}_{cn}{Y}_{cn}{Z}_{cn}$的$Z_c$轴与相机的光轴 $Z_{c0}$重合，它垂直于图像平面并通过图像坐标系的中心，$X_{cn}$轴和$Y_{cn}$轴分别平行于图像坐标系的u轴和v轴，光心到图像平面的距离 $O_{cn}{O}_1$称为变焦相机的实时焦距$f_n$，设变焦相机坐标系$O_{cn}{X}_{cn}{Y}_{cn}{Z}_{cn}$中的物体空间点 P 在图像物理坐标系$O_{1xy}$下的成像像点为$p_{cn}=[x,y]T$ ，则可以得到：
$$\{\begin{array}{l}u=u_0+\frac{f_n}{dx}\frac{X_{cn}}{Z_{cn}}\\ v=v_0+\frac{f_n}{dy}\frac{Y_{cn}}{Z_{cn}}\end{array}$$
根据相机坐标系下空间点和图像点之间的转换关系，相机的内参数矩阵由式中矩阵 M1 表示。当空间变焦相机的焦距位于基准焦距 f0 时，可以得到：
$$\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f_0}{dx}& 0& u_0\\ 0& \frac{f_0}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}\frac{X_{c0}}{Z_{c0}}\\ \frac{Y_{C0}}{Z_{c0}}\\ 1\end{array}\right]={\mathbf{M}}_1\left[\begin{array}{c}\frac{X_{c0}}{Z_{c0}}\\ \frac{Y_{c0}}{Z_{c0}}\\ 1\end{array}\right]$$
当相机的焦距发生改变，${\alpha }_x=\frac{f_{cn}}{dx}$为u轴上的放大系数,${\alpha }_y=\frac{f_{cn}}{dy}$为v轴上的放大系数，相机的外参数矩阵用$M_2$表示，$T_{wen}$为3×1平移矩阵，$R_{wen}$为3×3为正交旋转矩阵,则三维空间点与二维图像点之间的映射关系可以通过下式进行描述：
$$Z_{cn}\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\alpha }_x& 0& u_0& \\ 0& {\alpha }_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{X}_w& \\ 0& 1\end{array}\right]\left[\begin{array}{c}{\mathbf{R}}_{\mathrm{w}\mathrm{e}\mathrm{n}}{\mathbf{T}}_{\mathrm{w}\mathrm{e}\mathrm{n}}\\ Y_w\\ Z_w\\ 1\end{array}\right]={\mathbf{M}}_1{\mathbf{M}}_2\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\mathbf{M}\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$