《机器人建模和控制》第十一章计算机视觉之相机标定——内外部参数

相机标定

相机标定参考
https://blog.csdn.net/Aoulun/article/details/78768570

几个重要的参考系

1. 世界坐标系
   描述我们处于的这个世界的三维直角坐标系,原点和坐标轴的选择有很大 自由度
2. 相机坐标系
   可以看作是world coordinates的一个具体化,原点定在镜头光心,z轴是光轴,x,y轴构成一个和z轴垂直的面,这个面和后面的成像平面平行。

上图中的坐标系就是相机坐标系。
3. 图像坐标
首先定义图像平面：将包含检测阵列的平面定义为图像平面，如下图

image plane就是图像平面，我们用$(u,v,\lambda )$表示图像平面的坐标，在相机坐标系中
4. 像素坐标
相机标定的目的是确定所有必须参数，从而将像素坐标$(r,c)$和相机视场中的某点的坐标$(x,y,z)$联系起来。

相机外部参数

世界坐标系坐标$(x_w,y_w,z_w)$ 和相机坐标系$(x_c,y_c,z_c)$坐标，通过旋转和平移进行转换,矩阵形式如下
$$(x_c,y_c,z_c,1{)}^T=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\times (x_w,y_w,z_w,1{)}^T\text{\hspace{1em}(1)}$$
其中$R$是旋转矩阵, $T$是平移矩阵。这二者被称为相机的外部参数。

相机内部参数

内部参数可以理解为将世界坐标系的坐标和像素坐标相互映射的映射关系的参数。映射关系为$$r=-\frac{\lambda }{s_x}\frac{x}{z}+o_r,c=-\frac{\lambda }{s_y}\frac{y}{z}+o_c\text{\hspace{1em}(2)}$$
其中的参数为$\lambda ,s_x,o_r,s_y,o_c$。我们需要知道这些参数的值，或者这些参数的比值，比如$$f_x=\frac{\lambda }{s_x}{f}_y=\frac{\lambda }{s_y}\text{\hspace{1em}(3)}$$
参数$f_x,o_r,f_y,o_c$，被称为相机的内部参数，对于给定相机，这些参数是固定不变的值。

确定相机参数

1. 由灭点的概念确定参数$o_r,o_c$。
   灭点：世界坐标系中的一组平行线将会投射到一组图像线上，这些图像线将会交于一点，即灭点。
   对于世界坐标系中的三组相互正交的平行线，他们的灭点定义了一个三角形，其垂心就是图像的主点。
   
2. 确定剩余的相机参数
   剩下的相机参数可以通过构造线性方程组完成。
   • 第一步：获得形如 { r i , c i , x i , y i , z i } \{r_i,c_i,x_i,y_i,z_i\} {ri​,ci​,xi​,yi​,zi​}的一组数据坐标。
   • 建立线性方程组。相机的外部参数如下给出
     $$R=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right],T=\left[\begin{array}{c}{T}_x\\ T_y\\ T_z\end{array}\right]\text{\hspace{1em}(4)}$$
     相机参考系下的坐标$(x^c,y^c,z^c)$和世界坐标系下的坐标$(x,y,z)$的关系可由下式给出
     $$\{\begin{array}{c}{x}^c=r_{11}x+r_{12}y+r_{13}z+T_x\\ y^c=r_{21}x+r_{22}y+r_{23}z+T_y\\ z^c=r_{31}x+r_{32}y+r_{33}z+T_z\end{array}\text{\hspace{1em}(5)}$$
     联立式（2），（3）和（5），可以得到$$\begin{array}{r}r-o_r=-f_x\frac{x^c}{z^c}=-f_x\frac{r_{11}x+r_{12}y+r_{13}z+T_x}{r_{31}x+r_{32}y+r_{33}z+T_z}\\ c-o_c=-f_y\frac{y^c}{z^c}=-f_y\frac{r_{21}x+r_{22}y+r_{23}z+T_y}{r_{31}x+r_{32}y+r_{33}z+T_z}\end{array}\text{\hspace{1em}(6)}$$
   3. 为了简化计算，令$r\leftarrow r-o_r,c\leftarrow c-o_c$。
      对于数据点 { r i , c i , x i , y i , z i } \{r_i,c_i,x_i,y_i,z_i\} {ri​,ci​,xi​,yi​,zi​}，上式相除，可以得到$$r_i{f}_y(r_{21}{x}_i+r_{22}{y}_i+r_{23}{z}_i+T_y)=c_i{f}_x(r_{11}{x}_i+r_{12}{y}_i+r_{13}{z}_i+T_x)$$
      若设$\alpha =f_x/f_y$，则
      $$r_i{r}_{21}{x}_i+r_i{r}_{22}{y}_i+r_i{r}_{23}{z}_i+T_y-\alpha c_i{r}_{11}{y}_i-\alpha c_i{r}_{12}{y}_i-\alpha c_i{r}_{13}{z}_i-\alpha c_i{T}_x=0$$
      将N个方程联立，则得到矩阵方程，形式可写成$$Ax=0$$其中$$x=(r_{21},r_{22},r_{23,T_y,\alpha r_{11},\alpha r_{12},\alpha r_{13},\alpha T_x}{)}^T$$
      我们可以计算得到方程的一个解$\overline{x}$，若期望解为$x$，则二者存在线性关系，即存在$k\in R$，使得$$\overline{x}=k\cdot x$$
   4. 旋转矩阵存$R$在以下约束条件
      $$({\overline{x_1}}^2+{\overline{x_2}}^2+{\overline{x_3}}^2)=(k^2(r_{21}^2+r_{22}^2+r_{23}^2){)}^{\frac{1}{2}}=|k|$$
      同样有$$({\overline{x_5}}^2+{\overline{x_6}}^2+{\overline{x_7}}^2)=({\alpha }^2{k}^2(r_{21}^2+r_{22}^2+r_{23}^2){)}^{\frac{1}{2}}=\alpha |k|$$
      根据定义$\alpha =f_x/f_y$有$\alpha >0$。关于$k$值符号的选择，我们选择使$r{x}^c<0$的$k$值。由式（6）及$f_x>0,z^c>0$知$r$与$x^c$异号。故有$r{x}^c<0$。
   5. 此时我们已经确定了$k,\alpha ,r_{21},r_{22},r_{23},r_{11},r_{12},r_{13},T_x,T_y$参数的取值，剩下的任务就是确定$T_z,f_x,f_y$的取值，同理可以求出。