【基于三维标定物的相机标定】

介绍

之前博客中介绍了基于二维标定板的张正友相机标定法，本文介绍基于三维标定物的相机标定。相比于二维标定板，使用三维标定物的优点是只需拍摄一张图片就能实现相机标定，效率较高，缺点是标定物成本高。

与二维标定板标定类似，三维标定物的标定也需要先进行解析求解，获得忽略畸变情况下的初值，然后再进行最优化求解。先前给出的张正友标定法C++代码中，Ceres的优化求解是支持使用三维标定物坐标进行优化求解的，本文不再赘述。这里主要介绍如何使用三维标定物坐标进行解析求解。

推导

物体坐标系中的三维点$P=[X,Y,Z{]}^T$，经过旋转平移、透视投影、像素采样后，成为像素坐标系中的二维点$U=[u,v{]}^T$，过程表示为$$\begin{gathered} U=K[R|t]P \\ \left[\begin{array}{c}u\\ v\\ 1\end{array}\right]\backsimeq \left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_1\\ r_{21}& r_{22}& r_{23}& t_2\\ r_{31}& r_{32}& r_{33}& t_3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right] \end{gathered}$$其中，$K$为内参矩阵，$R$为旋转矩阵，$t$为平移向量。
令矩阵$Q=K[R|t]$，则有
$$\begin{gathered} u=\frac{q_{11}X+q_{12}Y+q_{13}Z+q_{14}}{q_{31}X+q_{32}Y+q_{33}Z+q_{34}} \\ v=\frac{q_{21}X+q_{22}Y+q_{23}Z+q_{24}}{q_{31}X+q_{32}Y+q_{33}Z+q_{34}} \end{gathered}$$写成矩阵形式
$$\left[\begin{array}{cccccccccccc}X& Y& Z& 1& 0& 0& 0& 0& -uX& -uY& -uZ& -u\\ 0& 0& 0& 0& X& Y& Z& 1& -vX& -vY& -vZ& -v\end{array}\right]\left[\begin{array}{c}{q}_{11}\\ q_{12}\\ q_{13}\\ q_{14}\\ q_{21}\\ q_{22}\\ q_{23}\\ q_{24}\\ q_{31}\\ q_{32}\\ q_{33}\\ q_{34}\end{array}\right]=0$$同样是求解$Ax=0$问题，需要六个三维点提供十二组约束来求解。求解得到$Q$后，将结果除以$q_{34}$进行归一化。将$Q$其拆分为$3\times 3$和$3\times 1$的矩阵，表示为$Q=[B|b]$，则有$$\begin{gathered} B=\eta KR \\ b=\eta Kt \end{gathered}$$其中，$\eta$为求解上述$Ax=0$问题时引入的未知尺度。利用旋转矩阵的正交性，有$$B{B}^T=KR\eta \eta R^T{K}^T={\eta }^{2}K{K}^T$$记$A=B{B}^T$，则有
$$A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{12}& a_{22}& a_{23}\\ a_{13}& a_{23}& a_{33}\end{array}\right]={\eta }^2\left[\begin{array}{ccc}{f}_x^2+c_x^2& c_x{c}_y& c_x\\ c_x{c}_y& f_y^2+c_y^2& c_y\\ c_x& c_y& 1\end{array}\right]={\eta }^{2}K{K}^T$$
可得
$$\begin{gathered} \eta =\sqrt{a_{33}} \\ {c}_x=a_{13}/{\eta }^2 \\ {c}_y=a_{23}/{\eta }^2 \\ {f}_x=\sqrt{a_{11}/{\eta }^2-c_x^2} \\ {f}_y=\sqrt{a_{22}/{\eta }^2-c_y^2} \end{gathered}$$求解得到内参矩阵$K$和未知尺度$\eta$后，可得$$\begin{gathered} R=K^{-1}B/\eta \\ t=K^{-1}b/\eta \end{gathered}$$