Multiple View Geometry(多视图几何)学习笔记（20）—摄像机模型之无穷远摄像机

           摄像机模型之无穷远摄像机

  无穷远摄像机是中心在无穷远平面上的摄像机。无穷远摄像机可以分为仿射摄像机和非仿射摄像机。

仿射摄像机
  仿射摄像机是矩阵$P$的最后一行$P^{3T}$形如$（0,0,1）$的摄像机。
  对于有限射影摄像机：
$$P_0=KP[I|-\tilde{C}]=K\left(\begin{array}{cc}{r}^{1T}& -r^{1T}\tilde{C}\\ r^{2T}& -r^{2T}\tilde{C}\\ r^{3T}& -r^{3T}\tilde{C}\end{array}\right)$$
  其中$r^{iT}$是旋转矩阵的第$i$行。而数值的$d_0=-r^{3T}\tilde{C}$是世界原点到摄像机中心在主射线方向上的距离。
  沿主射线跟踪的效果是将矩阵的$(3，4)$元素用世界原点到摄像机中心的深度$d_t$替代。
  假定使图像大小保持不变的放大因子是$k=d_t/d_0$,在时间$t$所产生的摄像机矩阵是:
$$P_t=K\left(\begin{array}{ccc}{d}_t/d_0& & \\ & d_t/d_0& \\ & & 1\end{array}\right)\left(\begin{array}{cc}{r}^{1T}& -r^{1T}\tilde{C}\\ r^{2T}& -r^{2T}\tilde{C}\\ r^{3T}& d_t\end{array}\right)=\frac{d_t}{d_0}K\left(\begin{array}{cc}{r}^{1T}& -r^{1T}\tilde{C}\\ r^{2T}& -r^{2T}\tilde{C}\\ r^{3T}{d}_0/d_t& d_0\end{array}\right)$$

  而当$d_t$ 趋向无穷大时:
$$P_{\infty }=K\left(\begin{array}{cc}{r}^{1T}& -r^{1T}\tilde{C}\\ r^{2T}& -r^{2T}\tilde{C}\\ 0^T& d_0\end{array}\right)$$

应用仿射摄像机的误差

  在过世界原点并垂直子主轴方向的平面上的任何点的图像在这种变焦和运动的复合作用下保持不变。这样的一个点可以记为：
$$X=\left(\begin{array}{c}\alpha r^1+\beta r^2\\ 1\end{array}\right)$$

  有$P_{0}X=P_{t}X=P_{\infty }X$
  对于不在诙平面上的点，设一点$X$离该平面的垂直距离是$\Delta$:
$$X=\left(\begin{array}{c}\alpha r^1+\beta r^2+\Delta r^3\\ 1\end{array}\right)$$

  并分别被摄像机$P_0$和$P_{\infty }$影像到：
$$X_{proj}=P_{0}X=K\left(\begin{array}{c}\tilde{x}\\ \tilde{y}\\ d_0+\Delta \end{array}\right),X_{affine}=P_{\infty }X=K\left(\begin{array}{c}\tilde{x}\\ \tilde{y}\\ d_0\end{array}\right)$$

  其中$\tilde{x}=\alpha -r^{1T}\tilde{C},\tilde{y}=\beta -r^{2T}\tilde{C}$。记标定矩阵为：
$$K=\left(\begin{array}{cc}{K}_{2\times 2}& {\tilde{X}}_0\\ {\tilde{0}}^T& 1\end{array}\right)$$

  因此有：
$${\tilde{X}}_{affine}-{\tilde{X}}_0=\frac{d_0+\Delta }{d_0}({\tilde{X}}_{proj}-{\tilde{X}}_0)$$

  用$P_{\infty }$仿射近似真实摄像机矩阵$P_0$的效应是把点$X$的图像径向地靠近或离开主点${\tilde{x}}_0$，其加权因子是$(d_0+\Delta )/d_0=1+\Delta /d_0$

仿射影像条件
$${\tilde{X}}_{affine}-{\tilde{X}}_{proj}=\frac{\Delta }{d_0}({\tilde{X}}_{proj}-{\tilde{X}}_0)$$

• 深度的起伏( $\Delta$)相对平均深度($d_0$) 较小
• 点离主轴的距离较小

$P_{\infty }$的分解

$$P_{\infty }=\left(\begin{array}{cc}{K}_{2\times 2}& \hat{0}\\ {\hat{0}}^T& 1\end{array}\right)\left(\begin{array}{cc}\hat{R}& \hat{t}\\ 0^T& 1\end{array}\right)=\left(\begin{array}{cc}{K}_{2\times 2}& {\tilde{X}}_0\\ {\hat{0}}^T& 1\end{array}\right)\left(\begin{array}{cc}\hat{R}& \hat{0}\\ 0^T& 1\end{array}\right)$$

平行投影

1.平行投影矩阵$$\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 1\end{array}\right)$$
代替了有限摄像机的规范射影矩阵$[I|0]$

2.标定矩阵$$\left(\begin{array}{cc}{K}_{2\times 2}& \hat{0}\\ {\hat{0}}^T& 1\end{array}\right)$$

代替了有限摄像机的$K$。

3.主点无定义

仿射摄像机的层次

正投影
$$P=\left(\begin{array}{cc}{r}^{1T}& t_1\\ r^{2T}& t_2\\ 0^T& 1\end{array}\right)$$

  正投影摄像机有5个自由度，即描述旋转矩阵$R$的三个参数，加上两个偏置参数$t_1$和$t_2$

缩放正投影
$$P=\left(\begin{array}{cc}{r}^{1T}& t_1\\ r^{2T}& t_2\\ 0^T& 1/k\end{array}\right)$$

  它有六个自由度。

弱透视投影
$$P=\left(\begin{array}{ccc}{\alpha }_x& & \\ & {\alpha }_y& \\ & & 1\end{array}\right)\left(\begin{array}{cc}{r}^{1T}& t_1\\ r^{2T}& t_2\\ 0^T& 1\end{array}\right)$$

  它有七个自由度。

仿射摄像机$P_A$

$$P_A=\left(\begin{array}{ccc}{\alpha }_x& s& \\ & {\alpha }_y& \\ & & 1\end{array}\right)\left(\begin{array}{cc}{r}^{1T}& t_1\\ r^{2T}& t_2\\ 0^T& 1\end{array}\right)$$

  它有八个自由度，并可以认为是有限射影摄像机的平行投影。

仿射摄像机的其他性质

1. 主平面是无穷远平面的任何射影摄像机矩阵是仿射摄像机矩阵。
2. 平行的世界直线被投影成平行的图像直线。
3. 满足$M_{2\times 3}d=0$的矢量$d$是平行投影的方向，而$(d^T,0{)}^T$是摄像机中心。

一般无穷远摄像机

{}	仿射摄像机	非仿射摄像机
摄像机中心在${\pi }_{\infty }$ 上	是	是
主平面是${\pi }_{\infty }$	是	不是
${\pi }_{\infty }$的点的图像在$l_{\infty }$上	是	一般不是