摄像机模型

模型

$$\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\mapsto \left[\begin{array}{ccc}f{m}_x& s& m_x{p}_x\\ & f{m}_y& m_y{p}_y\\ & & 1\end{array}\right]R[I|-\tilde{C}]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=KR[I|-\tilde{C}]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=P\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$
其中，$f$是焦距，单位是世界长度，$m_x$是单位世界长度在$x$方向的像素个数，$s$是扭曲参数，一般为0，$p_x$是主点的坐标，单位是世界长度。$R$是世界坐标系和摄像机坐标系之间的旋转关系，$\tilde{C}$是摄像机坐标系原点在世界坐标系中的坐标

• 采用齐次坐标的几个好处：把点和超平面采用同样的表示，任何有关“点”与“平面”的命题，都可以交换“点”与“平面”的概念，得到一个对偶的命题；齐次坐标能囊括无穷远点与无穷远超平面；齐次坐标可以方便地将平移与旋转放在一个矩阵中。出处

• 世界坐标系和摄像机坐标系下坐标的转换
  $$X_{cam}=\left[\begin{array}{cc}R& -R\tilde{C}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

• 自由度：5+3+3=11个

• $t=-R\tilde{C}$的物理意义是：It is the position of the origin of the world coordinate system expressed in coordinates of the camera-centred coordinate system. 推导：把世界坐标系平移到相机坐标系的原点产生一个新的坐标系，这个坐标系下，世界原点的坐标是$-\tilde{C}$。转换到相机坐标系下的坐标为$t=-R\tilde{C}$

• 有限射影摄像机矩阵与左边为非奇异的3×3子矩阵的3×4齐次矩阵$P=M[I|M^{-1}{p}_4]$等同。一般射影摄像机矩阵的秩是3。$P$的秩是1，则$PX$的值域可以表示为$k(x,y,z{)}^T$，它是一个点。$P$的秩是2，则$PX$的值域可以表示为$k(x,y,z{)}^T+k2(x2,y2,z2{)}^T$，它是一条直线。

有限摄像机

• 摄像机中心 $C$：$P$的一维零空间$PC=0$。有限摄像机$C=\left[\begin{array}{c}-M{p}_4\\ 1\end{array}\right]$，无穷远摄像机$C=\left[\begin{array}{c}d\\ 0\end{array}\right],Md=0$。证明是根据直线$CA$的投影和$A$的投影相同

• 列矢量：$p_1,p_2,p_3$分别是$X,Y,Z$轴的消影点

• 行矢量：$P^{3T}$是摄像机主平面，$P^{1T}$的平面由$C$和图像中$x=0$直线来确定，$P^{2T}$的平面由$C$和图像中$y=0$直线来确定

• 主点：$P\left[\begin{array}{c}{p}_{31}\\ p_{32}\\ p_{33}\\ 0\end{array}\right]=M{m}^3,m^{3T}是M的第3行$

• 主轴矢量：$v=det(M)m^3$是在主轴方向上指向摄像机前方的矢量

• 点到射线的反向投影：$$X(\lambda )=P^{+}x+\lambda C，P^{+}=P^T(P{P}^T{)}^{-1}$$
  $$有限摄像机还有：X(\mu )=\mu \left[\begin{array}{c}{M}^{-1}\\ 0\end{array}\right]+\left[\begin{array}{c}-M^{-1}{p}_4\\ 1\end{array}\right]$$

• 点的深度，令$X=(X,Y,Z,T{)}^T$是一个3D点而$P=[M|p_4]$是一个有限摄像机的摄像机矩阵，假定$P(X,Y,Z,T{)}^T=w(x,y,1{)}^T$。那么$$depth(X;P)=\frac{sign(det(M))w}{T||m^3||}$$是在摄像机主平面前方的点X的深度

• $P=[M|-M\tilde{C}]=K[R|-R\tilde{C}]$的分解，对$M$进行$RQ$分解

• 坐标定向：图像坐标$y$方向一般沿向下方向，此时仍为右手坐标系，则$z$方向沿主平面之后。
  （1）可以把$y$坐标取负
  （2）不改变，则求出的$R$是右手系到左手系的旋转。之前的主轴方向表示会变化（相反），点的深度因为$det(R)=-1$而为负数

无穷远摄像机

• 仿射摄像机最一般的形式
  $$P_A=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& t_1\\ m_{21}& m_{22}& m_{23}& t_2\\ 0& 0& 0& 1\end{array}\right]，限制是秩是3$$

它是不断增加相机距物体的距离同时增加焦距，取极限的情况。


$P_{\infty }$仿射近似$P_0$，而不等于$P_0$是因为存在景深。逼近效果要好，应该满足
（1）深度的起伏相对于平均深度要小
（2）图像点到主轴的距离较近
所以，长焦距镜头视场和景深较小，更容易满足这些条件