计算机视觉中的多视图几何＜Part1—摄像机几何和单视图几何＞(1)

5. 摄像机模型

摄像机模型是3D世界(物体空间)和2D图像之间的一种映射关系。具体模型主要分成有限中心的摄像机模型和“无穷远”中心的摄像机模型。

5.1 有限摄像机

• 针孔相机模型：
  

$$(X,Y,Z{)}^T\mapsto (fX/Z,fY/Z{)}^T$$
$$\text{x}=K[I|0]X_{cam}$$
3维欧式空间$I{R}^3$到2维欧式空间$I{R}^2$的一个映射，投影中心称为光心，光心到图像平面的垂线称为摄像机的主轴，主轴与图像平面的交点称为主点，过摄像机光心平行于图像平面的平面称为主平面。

• 摄像机旋转与位移：
  
  先移光心再转轴：
  $${\text{X}}_{cam}=R(\tilde{\text{X}}-\tilde{C})$$
  $${\text{X}}_{cam}=\left[\begin{array}{ccc}R& & -R\tilde{C}\\ {\text{0}}^{\top }& & 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{ccc}R& & -R\tilde{C}\\ {\text{0}}^{\top }& & 1\end{array}\right]\text{X}$$
  $$\text{x}=KR[I|-\tilde{C}]\text{X}$$
  $$P=K[R|t]$$
  一般的针孔相机模型$P=KR[I|-\tilde{C}]$有9个自由度：3个来自$K$($f$, $p_x$, $p_y$)，3个来自$R$，3个来自$\tilde{C}$。
• CCD摄像机：
  $$K=\left[\begin{array}{ccccc}{\alpha }_x& & & & x_0\\ & & {\alpha }_y& & y_0\\ & & & & 1\end{array}\right]$$
  引入非等尺度因子$m_x$，$m_y$，即$x$，$y$方向上图像坐标单位距离的像素数，${\alpha }_x=f{m}_x$，${\alpha }_y=f{m}_y$，$x_0=m_x{p}_x$，$y_0=m_y{p}_y$，CCD摄像机有10个自由度。
• 有限射影摄像机：
  $$K=\left[\begin{array}{ccccc}{\alpha }_x& & s& & x_0\\ & & {\alpha }_y& & y_0\\ & & & & 1\end{array}\right]$$
  $$P=M[I|M^{-1}{\text{p}}_4]=KR[I|-\tilde{C}]$$
  $s$为扭曲参数，有限射影摄像机有11个自由度，把有限射影相机矩阵与左边为非奇异的$3\times 3$子矩阵的$3\times 4$齐次矩阵等同。
• 一般射影摄像机：
  在射影摄像机层次化的最后一步是移去加在左边$3\times 3$子矩阵的非奇异性约束。之所以要求秩3，是因为如果秩小于3，那么矩阵映射的值域将是一条直线或一个点而不是2D图像。

5.2 射影摄像机

5.2.1 Camera anatomy

一般射影摄像机可以按$P=[M|{\text{p}}_4]$分块，$M$是非奇异的为有限摄像机。

• 摄像机中心：
  摄像机中心$C$是$P$的一维右零空间(投影射线)，即$PC=0$，当$M$奇异时，摄像机中心在无穷远点。

• 列矢量：
  射影摄像机的列是3维矢量，${\text{p}}_1$，${\text{p}}_2$，${\text{p}}_3$分别为世界坐标$X$，$Y$，$Z$轴的消影点，$D=(1,0,0,0{)}^{\top }$，${\text{p}}_1=PD$，${\text{p}}_4$是世界坐标原点的图像。
  

• 行矢量：
  射影摄像机的行是4维矢量，在几何上解释成特殊的世界平面。
  

• 主平面：
  主平面过光心平平行于图像平面，由被影像到图像上的无穷远直线上的点集$X$组成，$PX=(x,y,0{)}^{\top }\iff P^{3\top }X=0$，$P^3$是摄像机主平面的矢量表示。

• 轴平面：
  $PX=(0,y,w{)}^{\top }\iff P^{1\top }X=0$，$PX=(x,0,w{)}^{\top }\iff P^{2\top }X=0$，轴平面依赖于图像$x-$，$y-$轴，平面$P^1$，$P^2$的交线是一条连接摄像机中心和图像原点的直线，即图像原点的反投影，该直线一般不与摄像机主轴重合。

• 主点：
  主轴是过光心并且方向垂直于主平面的直线，主轴与图像平面交于主点，$P^3\Rightarrow ({\text{m}}^{3\top },0)\iff x_0=M{\text{m}}^3$。

• 主轴矢量：
  $P$的定义可以相差一个符号，产生主轴方向多义问题$m^3$&$-m^3$，$\text{v}=\det (M){\text{m}}^3=(0,0,1)$是主轴方向上指向摄像机前方的矢量($\det (R)>0$)。

5.2.2 Action of a projective camera on points

• 正向投影
  $$\text{x}=PD=[M|{\text{p}}_4]D=M\text{d},D=({\text{b}}^{\top },0{)}^{\top }$$
• 点到射线的反向投影：
  $$\text{X}(\lambda )=P^{+}\text{x}+\lambda C$$
  射线可由光心$C=((-M^{-1}{\text{p}}_4{)}^{\top },1{)}^{\top }$及反向投影射线与无穷远平面交点$D=((M^{-1}\text{x}{)}^{\top },0{)}^{\top }$表示。
  $$X(\mu )=\mu \left[\begin{array}{c}{M}^{-1}\text{x}\\ 0\end{array}\right]+\left[\begin{array}{c}-M^{-1}{\text{p}}_4\\ 1\end{array}\right]=\left[\begin{array}{c}{M}^{-1}(\mu \text{x}-{\text{p}}_4)\\ 1\end{array}\right]$$

5.2.3 Depth of points

主轴方向上的深度($\det M>0,||{\text{m}}^3||=1$)：
$$w=P^{3\top }X=P^{3\top }(X-C)={\text{m}}^{3\top }(\tilde{X}-\tilde{C})$$
摄像机主平面前方点$X$的深度：
$$depth(X;P)=\frac{sign(detM)w}{T||{\text{m}}^3||}$$
确定点$X$是否在摄像机前面的一种有效方式，矩阵$P$乘以一个常数因子，深度值不变。

5.2.4 Decomposition of the camera matix

• 摄像机中心：
  $$SVD(PC=0)$$
  $$X=\det ([{\text{p}}_2,{\text{p}}_3,{\text{p}}_4]),Y=-\det ([{\text{p}}_1,{\text{p}}_3,{\text{p}}_4]),Z=\det ([{\text{p}}_1,{\text{p}}_2,{\text{p}}_4]),T=-\det ([{\text{p}}_1,{\text{p}}_2,{\text{p}}_3])$$
• 摄像机定向和内部参数：
  $$P=[M|-M\tilde{C}]=K[R|-R\tilde{C}]$$
  采用RQ分解把$M$分解成$M=KR$，分解的多义性可以通过要求$K$有正对角元素来解决。

5.2.5 Euclidean vs projective spaces

$$P=[3\times 3单应]\left[\begin{array}{ccccccc}1& & 0& & 0& & 0\\ 0& & 1& & 0& & 0\\ 0& & 0& & 1& & 0\end{array}\right][4\times 4单应]$$
最一般的射影摄像机是一个从$I{P}^3$到$I{P}^2$的映射，包括了一个3维空间的射影变换、一个从3维空间到图像的投影，和一个图像的射影变换的复合。QR分解要求图像和3维空间都是欧式坐标系，图像和3维空间都是射影坐标系只有$P$的零矢量是光心的解释仍然有效，$P^3$解释为主平面至少要求两个坐标系都是仿射坐标系，$m^3$解释成主射线需求一个仿射图像坐标和一个欧式世界坐标系，才能恢复垂直关系。

5.3无穷远摄像机

无穷远摄像机意味着摄像机矩阵$P$的左边$3\times 3$子矩阵是奇异的，无穷远摄像机光心$PC=0$，大致可分为仿射摄像机和非仿射摄像机。

5.3.1 Affine cameras

• 仿射摄像机：
  仿射摄像机是矩阵$P$的最后一行$P^{3\top }=(0,0,0,1)$，当焦距增加的同时摄像机与物体之间的距离也增加时，图像保持同样大小，但是透视效应消失。($t$为摄像机沿主轴线向后移动速度，$k=d_t/d_0$是保持图像大小的焦距比例因子)
  $$P_t=K\left[\begin{array}{ccccc}{d}_t/d_0& & & & \\ & & d_t/d_0& & \\ & & & & 1\end{array}\right]\left[\begin{array}{ccc}{\text{r}}^{1\top }& & -{\text{r}}^{1\top }(\tilde{C}-t{\text{r}}^3)\\ {\text{r}}^{2\top }& & -{\text{r}}^{2\top }(\tilde{C}-t{\text{r}}^3)\\ {\text{r}}^{3\top }& & -{\text{r}}^{3\top }(\tilde{C}-t{\text{r}}^3)\end{array}\right]=\frac{d_t}{d_0}K\left[\begin{array}{ccc}{\text{r}}^{1\top }& & -{\text{r}}^{1\top }\tilde{C}\\ {\text{r}}^{2\top }& & -{\text{r}}^{2\top }\tilde{C}\\ {\text{r}}^{3\top }{d}_0/d_t& & d_0\end{array}\right]$$
  $$P_{\infty }=\underset{t\to \infty }{\lim }{P}_t=K\left[\begin{array}{ccc}{\text{r}}^{1\top }& & -{\text{r}}^{1\top }\tilde{C}\\ {\text{r}}^{2\top }& & -{\text{r}}^{1\top }\tilde{C}\\ {\text{0}}^{\top }& & d_0\end{array}\right]$$

5.3.2 Error in employing an affine camera

在过世界原点并垂直于主轴方向${\text{r}}^3$的平面上的任何点的图像在变焦和复合运动作用下保持不变。
$$X=\left[\begin{array}{c}\alpha {\text{r}}^1+\beta {\text{r}}^2\\ 1\end{array}\right]\Rightarrow X=\left[\begin{array}{c}\alpha {\text{r}}^1+\beta {\text{r}}^2+\Delta {\text{r}}^3\\ 1\end{array}\right]$$
$${\text{x}}_{proj}=P_{0}X=K\left[\begin{array}{c}\tilde{x}\\ \tilde{y}\\ d_0+\Delta \end{array}\right],{\text{x}}_{affine}=P_{\infty }X=K\left[\begin{array}{c}\tilde{x}\\ \tilde{y}\\ d_0\end{array}\right]$$
$${\text{x}}_{proj}=\left[\begin{array}{c}{K}_{2\times 2}\tilde{\text{x}}+(d_0+\Delta ){\tilde{\text{x}}}_0\\ d_0+\Delta \end{array}\right],{\text{x}}_{affine}=P_{\infty }X=K\left[\begin{array}{c}{K}_{2\times 2}\tilde{\text{x}}+d_0{\tilde{\text{x}}}_0\\ d_0\end{array}\right]$$
$${\tilde{\text{x}}}_{affine}-{\tilde{\text{x}}}_0=\frac{d_0+\Delta }{d_0}({\tilde{\text{x}}}_{proj}-{\tilde{\text{x}}}_0)$$
用$P_{\infty }$仿射近似真实摄像机矩阵$P_0$的效应是把点$X$的图像径向地靠近或远离主点，加权因子是$(d_0+\Delta )/d_0=1+\Delta /d_0$，${\tilde{\text{x}}}_{affine}-{\tilde{\text{x}}}_{proj}=\frac{\Delta }{d_0}({\tilde{\text{x}}}_{proj}-{\tilde{\text{x}}}_0)$，真实透视图像的位置与仿射摄像机逼近的位置距离相差不大的条件是：(1)深度起伏相对平均深度较小，(2)点离主轴的距离小(长焦镜头易满足)。

5.3.3 Decomposition of $P_{\infty }$

$$P_{\infty }=\left[\begin{array}{ccc}{K}_{2\times 2}& & {\tilde{\text{x}}}_0\\ {\hat{\text{0}}}^{\top }& & 1\end{array}\right]\left[\begin{array}{ccc}\hat{R}& & \hat{t}\\ {\text{0}}^{\top }& & d_0\end{array}\right]$$
$$P_{\infty }=\left[\begin{array}{ccc}{K}_{2\times 2}& & \hat{\text{0}}\\ {\hat{\text{0}}}^{\top }& & 1\end{array}\right]\left[\begin{array}{ccc}\hat{R}& & \hat{t}\\ {\text{0}}^{\top }& & 1\end{array}\right]=\left[\begin{array}{ccc}{K}_{2\times 2}& & {\tilde{\text{x}}}_0\\ {\hat{\text{0}}}^{\top }& & 1\end{array}\right]\left[\begin{array}{ccc}\hat{R}& & \hat{\text{0}}\\ {\text{0}}^{\top }& & 1\end{array}\right]$$
$P_{\infty }$和有限摄像机的本质区别是平行投影，平行投影矩阵代替了有限摄像机的规范射影矩阵，标定矩阵主点无定义。

5.3.4 A hierarchy of affine cameras

• 正投影(5自由度：3旋转2平移)：
  $$P=\left[\begin{array}{ccccccc}1& & 0& & 0& & 0\\ 0& & 1& & 0& & 0\\ 0& & 0& & 0& & 1\end{array}\right]\Rightarrow P=\left[\begin{array}{ccc}{\text{r}}^{1\top }& & t_1\\ {\text{r}}^{2\top }& & t_2\\ {\text{0}}^{\top }& & 1\end{array}\right]$$
• 缩放正投影:
  $$P=\left[\begin{array}{ccccc}k& & & & \\ & & k& & \\ & & & & 1\end{array}\right]\left[\begin{array}{ccc}{\text{r}}^{1\top }& & t_1\\ {\text{r}}^{2\top }& & t_2\\ {\text{0}}^{\top }& & 1\end{array}\right]=\left[\begin{array}{ccc}{\text{r}}^{1\top }& & t_1\\ {\text{r}}^{2\top }& & t_2\\ {\text{0}}^{\top }& & 1/k\end{array}\right]$$
  缩放正投影矩阵$P=[M|t]$有六个自由度，$M$前两行正交并有相等的范数。
• 弱透视投影：
  $$P=\left[\begin{array}{ccccc}{\alpha }_x& & & & \\ & & {\alpha }_y& & \\ & & & & 1\end{array}\right]\left[\begin{array}{ccc}{\text{r}}^{1\top }& & t_1\\ {\text{r}}^{2\top }& & t_2\\ {\text{0}}^{\top }& & 1\end{array}\right]$$
  弱透视投影矩阵$P=[M|t]$有七个自由度，$M$前两行正交。
• 仿射摄像机$P_A$
  $$P=\left[\begin{array}{ccccc}{\alpha }_x& & s& & \\ & & {\alpha }_y& & \\ & & & & 1\end{array}\right]\left[\begin{array}{ccc}{\text{r}}^{1\top }& & t_1\\ {\text{r}}^{2\top }& & t_2\\ {\text{0}}^{\top }& & 1\end{array}\right]$$
  仿射投影矩阵$P=[M\mid t]$有八个自由度，对矩阵元素没有限制。
  $$P_A=\left[\begin{array}{ccccccc}{m}_{11}& & m_{12}& & m_{13}& & t_1\\ m_{21}& & m_{22}& & m_{23}& & t_2\\ 0& & 0& & 0& & 1\end{array}\right]$$
  对仿射摄像机唯一的限制是$M_{2\times 3}$秩为2，出自对$P$秩为3的要求。
  $$P=[3\times 3仿射]\left[\begin{array}{ccccccc}1& & 0& & 0& & 0\\ 0& & 1& & 0& & 0\\ 0& & 0& & 0& & 1\end{array}\right][4\times 4仿射]$$
  $$\tilde{\text{x}}=M_{2\times 3}\tilde{X}+\tilde{\text{t}}$$

5.3.5 More properties of the affine camera

由平行投影和仿射变换(空间或图像)的复合效应组成的任何摄像机都将具有仿射形式，主平面(光心)在无穷远平面的任何射影摄像机矩阵是仿射摄像机矩阵，仿射摄像机矩阵保持平行(无穷远)关系。

5.3.6 General cameras at infinity

一般的无穷远摄像机可以由仿射摄像机产生的图像透视产生。

5.4 其他相机模型

5.4.1 Pushbroom cameras

在传感器方向上，图像是透视投影，而在传感器运动方向上则是正投影。
$$\tilde{x}=x=P^{1\top }X,\tilde{y}=y/z=\frac{P^{2\top }X}{P^{3\top }X}$$

• 直线的映射：
  LP摄像机将空间中的直线映射为双曲线，两个方向渐进于直线，仅有一个方向位于摄像机前面投影到图像。
  $$X_0=(X,Y,Z,1{)}^{\top },D=(D_X,D_Y,D_Z,0{)}^{\top }$$
  $$\tilde{x}=P^{1\top }(X_0+tD),\tilde{y}=\frac{P^{2\top }(X_0+tD)}{P^{3\top }(X_0+tD)}$$
  $$\tilde{x}=a+bt,\tilde{y}=\frac{e+ft}{c+dt}\Rightarrow \alpha \tilde{x}\tilde{y}+\beta \tilde{x}+\gamma \tilde{y}+\delta =0$$
  $$\alpha \tilde{x}+\gamma =0,\alpha \tilde{y}+\beta =0$$

5.4.2 Line cameras

$$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{ccccc}{p}_{11}& & p_{12}& & p_{13}\\ p_{21}& & p_{22}& & p_{23}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=P_{2\times 3}\text{x}$$
$$P_{2\times 3}=K_{2\times 2}{R}_{2\times 2}[I_{2\times 2}|-\tilde{\text{c}}]$$