多视图几何(5)_摄像机模型

摄像机模型

有限摄像机

基本针孔模型

• 投影中心/摄像机中心/光心$C$位于欧式坐标系的原点
• 图像平面或聚焦平面为$Z=f$
• 摄像机中心到图像平面的垂线称为摄像机的主轴或主射线
• 主轴与图像平面的交点称为主点$p$
• 过摄像机中心且平行于图像平面的平面称为摄像机的主平面
• 从世界坐标系到图像坐标系的中心投影：$(X,Y,Z{)}^T⟼(fX/Z,fY/Z)$

齐次坐标表示中心投影

$$\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]⟼\left[\begin{array}{c}fX\\ fY\\ Z\end{array}\right]=\left[\begin{array}{cccc}f& & & 0\\ & f& & 0\\ & & 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

设$P$为齐次摄像机投影矩阵，则上式可写为
$$\begin{gathered} x=PX \\ P=diag(f,f,1)[I\mid 0] \end{gathered}$$

主点偏置

实际情况中，图像平面的坐标原点不一定在主点上，主点的坐标为$(p_x,p_y)$

$$(X,Y,Z{)}^T⟼(fX/Z+p_x,fY/Z+p_y{)}^T$$
用齐次坐标表示为
$$\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]⟼\left[\begin{array}{c}fX+Z{p}_x\\ fY+Z{p}_y\\ Z\end{array}\right]=\left[\begin{array}{cccc}f& & p_x& 0\\ & f& p_y& 0\\ & & 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$
设$K$为摄像机标定矩阵，$X_{cam}$表示摄像机被设定在欧式坐标系的原点且摄像机的主轴沿着$Z$轴的指向，这样的坐标系被称为摄像机坐标系
$$x=K[I\mid 0]X_{cam}$$

摄像机旋转与平移

一般，空间点采用不同的欧氏坐标系表示，称为世界坐标系。

$$X_{cam}=\left[\begin{array}{cc}R& -R\tilde{C}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cc}R& -R\tilde{C}\\ 0^T& 1\end{array}\right]X$$
图像平面上投影点坐标为
$$x=KR[I\mid -\tilde{C}]X=PX$$
一般针孔摄像机$P$有$9$个自由度：包含在$K$中的参数为摄像机的内参数或内部校准，包含在$R,\tilde{C}$中的参数称为外参数或外部校准

为了方便，通常不标出摄像机中心，而是把世界到图像的变换表示成${\tilde{X}}_{cam}=R\tilde{X}+t,t=-R\tilde{C}$，则摄像机矩阵简化为
$$P=K[R\mid t]$$

CCD摄像机

CCD摄像机的像素可能不是正方形。如果在$x$和$y$方向上图像坐标单位距离的像素分别是$m_x,m_y$，那么由世界坐标系到像素坐标系的变换要左乘一个附加的因子$diag(m_x,m_y,1)$，因此CCD摄像机的标定矩阵的一般形式是
$$K=\left[\begin{array}{ccc}{\alpha }_x& & x_0\\ & {\alpha }_y& y_0\\ & & 1\end{array}\right]$$
其中，${\alpha }_x=f{m}_x,{\alpha }_y=f{m}_y$分别把摄像机的焦距换算成$x,y$方向的像素量纲；${\tilde{x}}_0=(x_0,y_0{)}^T$是像素量纲表示的主点，$x_0=m_x{p}_x,y_0=m_y{p}_y$。一个CCD摄像机有$10$个自由度

有限射影摄像机

有限射影摄像机的标定矩阵多了一个扭曲参数$s$，如果$s\ne 0$说明CCD阵列的像素元素产生扭曲使得$x,y$轴不垂直，一般不可能发生，现实中多出现于对图像再次取像（重拍或放大），二次拍摄的轴与被放大的图像平面不垂直导致。
$$K=\left[\begin{array}{ccc}{\alpha }_x& s& x_0\\ & {\alpha }_y& y_0\\ & & 1\end{array}\right]$$
一个有限射影摄像机有$11$个自由度，与定义到相差一个任意尺度因子的$3\times 4$矩阵的自由度一样
$$P=KR[I\mid -\tilde{C}]$$
$M=KR$为$P$矩阵的左边$3\times 3$子矩阵（对$M$进行$QR$分解得到$KR$），矩阵$P$可写为$P=M[I\mid M^{-1}{p}_4]$，其中$p_4$是$P$的最后一列

• 有限射影摄像机的摄像机矩阵集合等于左边$3\times 3$子矩阵为非奇异的$3\times 4$齐次矩阵所构成的几何

一般射影摄像机

有限射影摄像机去掉左边$3\times 3$子矩阵是非奇异的约束。一般射影摄像机由秩为$3$的任意$3\times 4$齐次矩阵表示，它有11个自由度。如果秩小于$3$，则矩阵映射的值域是一条直线

射影摄像机

$$P=[M\mid p_4]$$

摄像机构造

• 摄像机中心：摄像机中心$C$是$P$的一维右零空间，即$PC=0$

  • 有限摄像机（$M$非奇异）：$C=(-M^{-1}{p}_4,1{)}^T$
  • 无穷远摄像机（$M$奇异）:$C=(d,0{)}^T$，其中$d$是$M$的$3$维零向量$Md=0$

• 列点：对于$i=1,2,\cdots ,3$，列向量$p_i$分别对应于$X,Y,Z$轴在图像上的消影点。列$p_4$是坐标原点的图像

• 主平面：摄像机的主平面是$P$的最后一行$P^3$

• 轴平面：平面$P^1,P^2$表示空间中过摄像机中心的平面，分别对应于映射到图像上直线$x=0,y=0$的点

• 主点：图像点$x_0=M{m}^3$是摄像机的主点，其中$m^{3T}$是$M$的第三行

• 主射线：摄像机的主射线是过摄像机中心$C$而方向是$m^{3T}$的射线，主轴向量$v=det(M)m^3$指向摄像机的前方

射影摄像机对点的作用

正向投影

在无穷远平面上的点$D=(d^T,0{)}^T$表示消影点，这些点映射到
$$x=PD=[M\mid p_4]D=Md$$

点到射线的反向投影

给定图像中的一个点$x$，确定空间中的哪些点被映射到该点，这些点组成过摄像机中心的一条空间射线。该射线过点$C$和$P^{+}x$，该射线表示为
$$X(\lambda )=P^{+}x+\lambda C$$
记$P=[M\mid p_4]$，摄像机中心为$\tilde{C}=-M^{-1}{p}_4$，图像点$x$反方投影的射线交无穷远平面于点$D=((M^{-1}x{)}^T,0{)}^T$另一种表示方法为
$$X(\mu )=\mu \left[\begin{array}{c}{M}^{-1}x\\ 0\end{array}\right]+\left[\begin{array}{c}-M^{-1}{p}_4\\ 1\end{array}\right]=\left[\begin{array}{c}{M}^{-1}(\mu x-p_4)\\ 1\end{array}\right]$$

点的深度

考虑三维空间的点$X=(X,Y,Z,1{)}^T=(\tilde{X},1{)}^T$被摄像机矩阵$P=[M\mid p_4]$投影到图像点$x=w(x,y,1{)}^T=PX$。令$C=(\tilde{C},1{)}^T$为摄像机中心，那么$w=P^{3T}X=P^{3T}(X-C)$，因为$PC=0$。另外，$P^{3T}(X-C)=m^{3T}(\tilde{X}-\tilde{C})$，其中$m^{3T}$是主射线方向，因此$w=m^{3T}(\tilde{X}-\tilde{C})$可以解释为：从摄像机中心$C$到点$X$在主射线方向上的深度。

为了避免总是处理归一化矩阵，可以用下面的方式计算点的深度

假定$P(X,Y,Z,T{)}^T=w(x,y,1{)}^T$，那么
$$depth(X;P)=\frac{sign(\det M)w}{T\parallel m^3\parallel }$$

欧氏与射影空间

前面假设世界坐标系和图像坐标系都是欧氏的。最一般的射影摄像机是一个从$I{P}^3$到$I{P}^2$的映射，并包含一个三维空间的射影变换、一个从三维空间到图像的投影和一个图像的射影变换的复合
$$P=[3\times 3\text{ homography}]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right][4\times 4\text{ homography}]$$

• 有限射影摄像机$P$的分解所获得的欧氏解释仅在图像和世界坐标系都是欧式坐标系才有意义
• $P$的零向量是摄像机的中心的解释在射影坐标系下仍有效
• $P^3$解释成主平面至少要求图像和三维空间是仿射坐标系
• $m^3$解释成主射线要求一个仿射图像坐标系和一个欧式坐标系

无穷远摄像机

无穷远摄像机是指中心在无穷远平面上的摄像机。它意味着摄像机矩阵$P$的左边$3\times 3$矩阵是奇异的。

无穷远相机可以分为：仿射摄像机和非仿射摄像机。仿射摄像机是矩阵$P$的最后一行$P^{3T}$形如$(0,0,0,1)$的摄像机。之所以称它为仿射摄像机是因为无穷远点被它映射为无穷远点。

仿射摄像机

考虑将摄像机向后拉的同时通过变焦放大物体保持同样大小这一情形。通过对这一过程进行建模，得到将摄像机中心移动到无穷远时仿射摄像机的摄像机矩阵$P_{\infty }$

分析有限摄像机矩阵
$$P_0=KR[I\mid -\tilde{C}]=K\left[\begin{array}{cc}{r}^{1T}& -r^{1T}\tilde{C}\\ r^{2T}& -r^{2T}\tilde{C}\\ r^{3T}& -r^{3T}\tilde{C}\end{array}\right]$$
按照之前的知识，摄像机主射线与$r^3$同向，$d_0=-r^{3T}\tilde{C}$是世界坐标点到摄像机中心在主射线上的距离。考虑摄像机在时间$t$内以单位速度向后移动，使得摄像机中心移动到$\tilde{C}-t{r}^3$时，摄像机矩阵为
$$P_t=K\left[\begin{array}{cc}{r}^{1T}& -r^{1T}(\tilde{C}-t{r}^3)\\ r^{2T}& -r^{2T}(\tilde{C}-t{r}^3)\\ r^{3T}& -r^{3T}(\tilde{C}-t{r}^3)\end{array}\right]=K\left[\begin{array}{cc}{r}^{1T}& -r^{1T}\tilde{C}\\ r^{2T}& -r^{2T}\tilde{C}\\ r^{3T}& d_t\end{array}\right]$$
其中，$d_t=-r^{3T}\tilde{C}+t$是世界坐标系相对于摄像机中心在摄像机主射线$r^3$的深度

下一步，将焦距放大$k$倍，下一章将证明等价于对$K$矩阵右乘$diag(k,k,1)$。为了保持图像大小不变，取$k=d_t/d_0$，所得的摄像机矩阵是
$$P_t=K\left[\begin{array}{ccc}{d}_t/d_0& & \\ & d_t/d_0& \\ & & 1\end{array}\right]\left[\begin{array}{cc}{r}^{1T}& -r^{1T}\tilde{C}\\ r^{2T}& -r^{2T}\tilde{C}\\ r^{3T}& d_t\end{array}\right]=\frac{d_t}{d_0}K\left[\begin{array}{cc}{r}^{1T}& -r^{1T}\tilde{C}\\ r^{2T}& -r^{2T}\tilde{C}\\ r^{3T}{d}_0/d_t& d_0\end{array}\right]$$
忽略因子$d_t/d_0$，当$t\to \infty$，
$$P_{\infty }=\underset{t\to \infty }{\lim }{P}_t=K\left[\begin{array}{cc}{r}^{1T}& -r^{1T}\tilde{C}\\ r^{2T}& -r^{2T}\tilde{C}\\ 0^T& d_0\end{array}\right]$$
刚好是将原来的摄像机矩阵最后一行的前三个元素取零

应用仿射摄像机的误差

可以看到：在过世界原点并垂直于主轴方向$r^3$的平面上的任何点饿的图像在这种变焦和运动的复合作用下保持不变，可记为
$$X=\left[\begin{array}{c}\alpha r^1+\beta r^2\\ 1\end{array}\right]$$
因为$r^{3T}(\alpha r^1+\beta r^2)=0$，故$P_{0}X=P_{t}X=P_{\infty }X$

对于不在该平面的点，由$P_0,P_{\infty }$映射产生的图像是不同的。设$X$离该平面的垂直距离是$\Delta$，则该点表示为
$$X=\left[\begin{array}{c}\alpha r^1+\beta r^2+\Delta r^3\\ 1\end{array}\right]$$
被摄像机$P_0,P_{\infty }$分别映射到
$$x_{proj}=P_{0}X=K\left[\begin{array}{c}\tilde{x}\\ \tilde{y}\\ d_0+\Delta \end{array}\right]\text{ , }{x}_{affine}=P_{\infty }X=K\left[\begin{array}{c}\tilde{x}\\ \tilde{y}\\ d_0\end{array}\right]$$

其中，$\tilde{x}=\alpha -r^{1T}\tilde{C},\tilde{y}=\beta -r^{2T}\tilde{C}$，记标记矩阵为
$$K=\left[\begin{array}{cc}{K}_{2\times 2}& {\tilde{x}}_0\\ {\tilde{0}}^T& 1\end{array}\right]$$
则有
$$x_{proj}=\left[\begin{array}{c}{K}_{2\times 2}\tilde{x}+(d_0+\Delta ){\tilde{x}}_0\\ d_0+\Delta \end{array}\right]\text{ , }{x}_{affine}=\left[\begin{array}{c}{K}_{2\times 2}\tilde{x}+d_0{\tilde{x}}_0\\ d_0\end{array}\right]$$
对图像点通过除以对最后一个元素消去齐次化得到
$$\begin{gathered} {\tilde{x}}_{proj}={\tilde{x}}_0+K_{2\times 2}\tilde{x}/(d_0+\Delta ) \\ {\tilde{x}}_{affine}={\tilde{x}}_0+K_{2\times 2}\tilde{x}/d_0 \end{gathered}$$
因此两点之间的关系是
$${\tilde{x}}_{affine}-{\tilde{x}}_0=\frac{d_0+\Delta }{d_0}({\tilde{x}}_{proj}-{\tilde{x}}_0)$$

• 用$P_{\infty }$仿射近似真实摄像机矩阵$P_0$的效应是把$X$的图像径向地靠近或离开主点${\tilde{x}}_0$，其加权因子是$(d_0+\Delta )/d_0=1+\Delta /d_0$

仿射成像条件

由${\tilde{x}}_{proj},{\tilde{x}}_{affine}$的表达式可得
$${\tilde{x}}_{affine}-{\tilde{x}}_{proj}=\frac{\Delta }{d_0}({\tilde{x}}_{proj}-{\tilde{x}}_0)$$
表明有限摄像机映射点位置与仿射摄像机映射点位置在以下情况下距离相差不大：

• 深度起伏$\Delta$相对于平均深度$d_0$较小
• 点离主轴的距离较小

$P_{\infty }$的分解

经过一系列变换和替代，仿射摄像机矩阵可以写成
$$P_{\infty }=\left[\begin{array}{cc}{K}_{2\times 2}& \hat{0}\\ {\hat{0}}^T& 1\end{array}\right]\left[\begin{array}{cc}\hat{R}& \hat{t}\\ 0^T& 1\end{array}\right]$$
平行投影和有限摄像机的本质区别是：

• 平行投影矩阵$\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 1\end{array}\right]$代替了有限摄像机矩阵的规范射影矩阵$[I\mid 0]$
• 标定矩阵$\left[\begin{array}{cc}{K}_{2\times 2}& \hat{0}\\ {\hat{0}}^T& 1\end{array}\right]$代替了有限摄像机的$K$
• 主点无定义

仿射摄像机的分层

类似于有限摄像机的推导，下面将从平行投影的基本操作开始建立一个摄像机模型的层级，它逐步地表示平行投影的更一般情形

正投影

考虑沿$Z$轴的投影，该映射把点$(X,Y,Z,1{)}^T$映射到图像点$(X,Y,1{)}^T$，即去掉$Z$坐标
$$P=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 1\end{array}\right]$$
为得到一般正投影映射，在此之前加一个欧式变换
$$H=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$$
则正投影摄像机为
$$P=\left[\begin{array}{cc}{r}^{1T}& t_1\\ r^{2T}& t_2\\ 0^T& 1\end{array}\right]$$

缩放正投影

缩放正投影是正投影紧接着一个均匀缩放
$$P=\left[\begin{array}{ccc}k& & \\ & k& \\ & & 1\end{array}\right]\left[\begin{array}{cc}{r}^{1T}& t_1\\ r^{2T}& t_2\\ 0^T& 1\end{array}\right]=\left[\begin{array}{cc}{r}^{1T}& t_1\\ r^{2T}& t_2\\ 0^T& 1/k\end{array}\right]$$

弱透视投影

与有限$CCD$摄像机类似，考虑两个轴缩放因子不同
$$P=\left[\begin{array}{ccc}{\alpha }_x& & \\ & {\alpha }_y& \\ & & 1\end{array}\right]\left[\begin{array}{cc}{r}^{1T}& t_1\\ r^{2T}& t_2\\ 0^T& 1\end{array}\right]$$

仿射摄像机$P_A$

考虑扭曲$s$
$$P_A=\left[\begin{array}{ccc}{\alpha }_x& s& \\ & {\alpha }_y& \\ & & 1\end{array}\right]\left[\begin{array}{cc}{r}^{1T}& t_1\\ r^{2T}& t_2\\ 0^T& 1\end{array}\right]$$
仿射摄像机的最一般的形式是
$$P_A=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& t_1\\ m_{21}& m_{22}& m_{23}& t_2\\ 0& 0& 0& 1\end{array}\right]$$
另一方面，仿射摄像机包含三个变换的复合：一个三维空间的仿射变换、一个从三维空间到图像的正投影及一个图像平面的仿射变换
$$P_A=[3\times 3\text{ affine}]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 0& 1\end{array}\right][4\times 4\text{ affine}]$$
仿射摄像机下的投影是一个关于非齐次坐标的线性映射加上一个平移
$$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]+\left[\begin{array}{c}{t}_1\\ t_2\end{array}\right]$$

紧凑形式为
$$\tilde{x}=M_{2\times 3}\tilde{X}+\tilde{t}$$
$\tilde{t}$是世界坐标系的原点

仿射摄像机的其他性质

• 主平面是无穷远平面的任何射影摄像机矩阵是仿射摄像机矩阵
• 平行的世界直线被投影成平行的图像直线
• 满足$M_{2\times 3}d=0$的向量$d$是平行投影的方向，$(d^T,0{)}^T$是摄像机中心