相机透视知识整理

相机实现了3维世界至2维平面的映射，理顺其中的关系方便实现一些有趣的应用。
这其中涉及道三个坐标系的变换关系： 世界坐标系—相机坐标系—-图像坐标系

1、相机坐标系–图像坐标系

1.1 世界坐标系与相机坐标系

两坐标系的变换可用齐次矩阵表示如下：

其中，$R$为3x3单位正交矩阵

1.2 R矩阵

• 上述3个基本变换矩阵均为单位矩阵，因此求逆即求转制
  $R^{-1}=R^{T}$

  如果两坐标系同原点，，$t$为平移向量，即$t=0$,则可表示为：
  

  $$\begin{bmatrix} x\\ y\\ z \end{bmatrix}=R\begin{bmatrix} X_w\\ Y_w\\ Z_w \end{bmatrix}$$

  1.2 图像坐标系

  
  

  图像坐标系可以表示为u-v坐标系，该坐标系单位为像素，无量纲。
  为了便于分析，常常建立以X-Y表示的图像坐标系，它以毫米为单位。它的原点$O_1$在U-V坐标系中的坐标为$（u_0,v_0）$。每一个像素在X轴和Y轴上的物理尺寸分别为$dX,dY$,则两坐标系的变化关系为：
  

  $$\left\{\begin{matrix} u=\frac{X}{dX}+u_0\\ v=\frac{Y}{dY}+u_0 \end{matrix}\right.$$
  $u_0,v_0$默认在图像中心点，因为工艺会有偏差。齐次坐标的矩阵表示形式如下：
  
  
  公式1

  1.3 相机坐标系

  
  

  如上图根据小孔成像原理，在相机坐标系$x-o-y$中的任意一点$P(x,y,z)$在图像坐标$X-O_1-Y$下的成像点为$p(X,Y)$,相机焦距设为$f$.根据比例准则：
  

  $$\left\{\begin{matrix} X=\frac{fx}{z}\\ Y=\frac{fy}{z} \end{matrix}\right.$$
  改写为齐次坐标表示的形式：
  
  
  

  其中，S为尺度因子，与纵向距离Z有关，P为透视矩阵。

  1.4 变换

  根据以上公式联立，可形成世界坐标与像素图像坐标的最终变换关系：
  

  
  

  $\alpha _x=f/dX、\alpha_y=f/dY$ :归一化焦距。
  $M_1$称为内参矩阵，$M_2$为外参矩阵。

  当$t=0$，上述公式可简化：
  

  $$s\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\begin{bmatrix} \alpha_x & 0 & u_0\\ 0 & \alpha_y & v_0\\ 0 & 0 & 1 \end{bmatrix}R\begin{bmatrix} X_w\\ Y_w\\ Z_w \end{bmatrix}=M\begin{bmatrix} X_w\\ Y_w\\ Z_w \end{bmatrix}$$
  　　　　　　　　　　　　　　　　　　　　　　　　　　　　公式2
  M为3x3矩阵，该矩阵可逆，当知道世界坐标下的一点，可算出唯一的像素坐标。但是，已知图像上一点，无法确切知道空间上Z的坐标，因为，上述矩阵只能联立两个方程。

  2 灭点及消失点

  将公式２的结果展开：
  

  
  

  通常情况下，可通过４世界和图像之间点对，估算Ｍ矩阵值。
  消失点只于变换矩阵Ｍ和平行直线簇的方向有关。

  2 逆透视

  坐标定义如图所示：
  

  
  
  俯仰角pitch α ， 偏航角yaw β ，滚动roll is zero

  根据如上图坐标定义方式推导两者间的变换关系：$X_cY_cZ_c\rightarrow X_wY_wZ_w$
  利用坐标轴连续旋转的方式：
  

  
  

  其中注意$\beta$逆时针转,角度为正;$\alpha$顺时针,取负.

  展开可得：
  

  $$sP_w=R_x(-90)R_y(\beta)R_x(-\alpha ) \begin{bmatrix} f_u& 0 & c_u\\ 0& f_v & c_v\\ 0& 0& 0 \end{bmatrix}^{-1} \begin{bmatrix} u\\ v\\ 1 \end{bmatrix} =T^gP^i$$
  其中，