摄像机标定

一、摄像机标定

为方便区分，$P_w$写为$P_i$，$P^{\prime }$写为$p_i$。


在这里，$p_i$是欧氏坐标形式，$P_i$仍是齐次坐标形式

投影矩阵$M（3\times 4）$有11个未知量。
$$u_i=\frac{m_1{P}_i}{m_3{P}_i}$$
$$v_i=\frac{m_2{P}_i}{m_3{P}_i}$$
可见，一对对应点可以获得两个方程，需要求解11个未知量的话，至少需要6对对应点。但在实际过程中，为了鲁棒性，通常使用多于六对对应点。

二、齐次线性方程组

当方程组是超定方程组时，0总是一个解，但不存在非零解。而我们需要求的是非零解m，所以通过使$||Pm||$最小从而逼近0，但若不添加约束的话，m可以趋于无限小，因此添加约束$||m||=1$，求得此时的m。

三、标定过程

实际上就是在满足$s.t.||m||=1$的约束条件下，求出使$||Pm||$最小的矩阵$m$。

满足条件的$m$：对$P$矩阵进行奇异值分解，$m$为$P$矩阵最小奇异值的右奇异向量，且$||m||=1$

此时$m$是（12×1）的向量，转成矩阵形式$M$（3×4），得到投影矩阵$M$

四、提取摄像机参数

但$M$是摄像机内外参数共同乘积的结果，$M=K\left[\begin{array}{cc}R& T\end{array}\right]$，而我们更想单独提取出摄像机的内参数和外参数。

$K中u_0，v_0$是之前的$c_x，c_y$。

求解得到的$M$离真实的摄像机投影矩阵$M$之间会有一个系数$\rho$的差异，在齐次坐标系下，这个系数是无法确定的。

（一）内参数

（1）偏置量$u_0，v_0$

$\rho A=KR$，得到A与KR之间的关系，K是摄像机内参数，R是摄像机外参数的旋转矩阵（摄像机坐标系与世界坐标系之间的旋转矩阵）。

$r_3$是旋转矩阵R内的向量，应当是单位向量，所以$|r_3|=1$。

$|\rho a_3|=|r_3|=1$，所以$\rho =\frac{\pm 1}{|a_3|}$

得到系数$\rho$

$\rho a_3\cdot \rho a_1=r_3(\alpha r_1-\alpha cot\theta r_2+u_0{r}_3)$，由于$r_1,r_2,r_3$互相垂直，

$r_1\cdot r_2^T=0$，$r_3\cdot r_3^T=1$

最终，${\rho }^2(a_1\cdot a_3)=u_0$

同理，${\rho }^2(a_2\cdot a_3)=v_0$

得到摄像机内参数的偏置量$u_0，v_0$。

（2）像素坐标系偏斜量$\theta$

$\rho a_1\times \rho a_3=（\alpha r_1\alpha cot\theta r_2+u_0{r}_3）\times r_3$，由于$r_1\times r_3$得到的是同时垂直于$r_1和r_3$的向量，即$r_2$。

最终，${\rho }^2(a_1\times a_3)=\alpha r_2-\alpha cot\theta r_1$，等号两边取模，得${\rho }^2|a_1\times a_3|=\frac{|\alpha |}{sin\theta }$

同理，${\rho }^2(a_2\times a_3)=\frac{\beta }{sin\theta }{r}_1$，取模，得${\rho }^2|a_2\times a_3|=\frac{|\beta |}{sin\theta }$

最终，$cos\theta =-\frac{(a_1\times a_3)\cdot (a_2\times a_3)}{|a_1\times a_3|\cdot |a_2\times a_3|}$

得到摄像机内参数的偏斜量$\theta$

若$(a_1\times a_3)\cdot (a_2\times a_3)=0$，则表示像素坐标系是垂直的。即空间中长方形投影到像素平面后，仍是长方形，而非平行四边形。

（3）物体真实长度与图像像素点个数的比例，$\alpha ,\beta$

$|\alpha |={\rho }^2|a_1\times a_3|sin\theta$，由于${\rho }^2\ge 0，|a_1\times a_3|\ge 0，\theta 在0°90°，sin\theta \ge 0$，所以$|\alpha |$的绝对值可以去掉，

$\alpha ={\rho }^2|a_1\times a_3|sin\theta$

同理，$\beta ={\rho }^2|a_2\times a_3|sin\theta$

得到摄像机内参数的物体真实长度与图像像素点个数的比例，$\alpha ,\beta$

在像素坐标系垂直的情况下，

若$\alpha =\beta$，

即$|a_1\times a_3|=|a_2\times a_3|$，

即$|a_1\times a_3{|}^2=|a_2\times a_3{|}^2$，

即$(a_1\times a_3)\cdot (a_1\times a_3)=(a_2\times a_3)\cdot (a_2\times a_3)$

此时像素是方形的像素。

（二）外参数

（1）旋转矩阵R

$r_1$是单位向量，$\rho ，\frac{\beta }{sin\theta }$都是实数，因此$r_1$的方向仅与同为向量的$(a_1\times a_3)$有关，

所以，$r_1=\frac{(a_2\times a_3)}{|a_2\times a_3|}$

同理，$\rho a_3=r_3$，且由之前已知，$\rho =\frac{\pm 1}{|a_3|}$，

所以，$r_3=\frac{\pm a_3}{|a_3|}$

既然求得$r_1，r_3$，则$r_3=r_3\times r_1$

得到摄像机外参数的旋转矩阵R

（2）平移矩阵T

$$\begin{gathered} \rho b=KT \\ {K}^{-1}\rho b=T \\ \rho K^{-1}b=T \end{gathered}$$

得到摄像机外参数的平移矩阵T

（三）总结

六个点不能来自于同一个平面

五、径向畸变摄像机标定

$\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right]$是像素平面中实际观测到的点的坐标，

$M{P}_i$是理想中，世界坐标投影到像素平面时的坐标，

理想中的值，需要经过$S_{\lambda }$的处理（即畸变），得到实际观测到的值。

并不是线性方程组，$u_i和P_i$的关系是一直在改变的，于此前不同，此前的矩阵M是固定不变的，但此时的矩阵Q中的$\lambda$会随着$u_i，v_i$的变化而变化，所以并不是线性方程组，因此不能用此前的解线性方程组的方法求解。

$\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right]$是实际观测值，设为X

$\left[\begin{array}{c}\frac{q_1{P}_i}{q_3{P}_i}\\ \\ \frac{q_2{P}_i}{q_3{P}_i}\end{array}\right]$是与矩阵Q有关的理想值，设为$f(Q)$

问题变成，取到最好的Q值，使X与$f(Q)$越接近越好。

即非线性优化问题：找到使$||f(Q)-X|{|}^2$最小的矩阵Q