由摄像机透视投影矩阵到单映性矩阵的推倒过程

本文链接：https://blog.csdn.net/guo1988kui/article/details/75088476

单映性矩阵是一个3*3矩阵,描述了摄影几何中平面到平面的映射,其自由度为8，由九个元素组成(为什么是9个元素,8个自由度,下文求解过程会详细说明)，通常令最后一个元素为1或者使其F范数为1，该矩阵可将无穷远点投射于有限处，即空间中平行线在图像上相交于有限处.其表达式如下:

$\large \begin{bmatrix} x1\\ y1\\ 1\\ \end{bmatrix} =\begin{bmatrix} h11 &h12 &h13 \\ h21& h22&h23\\ h31&h32&h33\\ \end{bmatrix}\begin{bmatrix} x2\\ y2 \\ 1\\ \end{bmatrix} \left ( 1 \right )$

其中,单映性矩阵为:

$\large H=\begin{bmatrix} h11&h12 &h13 \\ h21& h22 &h23 \\ h31& h32 &h33 \end{bmatrix}\left ( 2 \right )$

单映性矩阵一般应用在全景拼接上,所拍摄的全景是相机绕其光心所得,若不满足相机绕光心旋转这一条件,那么全景拼接的效果很差.另外,当H的最后一行为[0,0,1]时,则不能将无穷远点投射于有限处，称为仿射变换（Affine）,自由度为6.

图像满足单映性矩阵的条件:当相机拍摄的是平面物体,或者相机绕其光心旋转拍摄,那么图像两帧之间满足单映性条件.

那么如何从符合针孔模型的相机透视投影矩阵推倒出单映性矩阵呢?

在回答这个问题之前,让我们再回顾一下相机的成像模型.一般情况下,相机的数学的模型都符合针孔模型,因此相机透视投影矩阵一般为(世界坐标系到计算机图像坐标系的转换关系):

$\large s\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\begin{bmatrix} 1/d_{x}&0 &u_{0}\\ 0& 1/d_{y} &v_{0} \\ 0& 0 & 1 \end{bmatrix}\begin{bmatrix} f &0 &0 &0 \\ 0 & f &0 &0 \\ 0&0 & 1 & 0 \end{bmatrix}\begin{bmatrix} R &T \\ 0^{T}& 1 \end{bmatrix}\begin{bmatrix} X_{w}\\ Y_{w}\\ Z_{w}\\ 1 \end{bmatrix}=\begin{bmatrix} a_{x} & 0 & u_{0} &0 \\ 0& a_{y} & v_{0} & 0\\ 0 & 0 & 1 &0 \\ \end{bmatrix}\begin{bmatrix} R &T \\ 0^{T}&1 \end{bmatrix}=M_{1}M_{2}P_{w} \left ( 3 \right )$

其中:

(1)s为缩放因子;

(2)dx,dy表示像素的物理长度一般为毫米单位;

(3)f(mm)为物理焦距;

(4)u0,v0为光轴和图像的交点,在理想情况下为图像中心,比如图像分辨率为640*480,那么u0=320,v0=240

(5)R为3*3的旋转矩阵,T为3*1的平移矩阵;

(6)Pw为世界坐标系中一点;

当相机绕光心旋转时,假设相机之间的旋转矩阵为R(此时没有平移),那么相机坐标系之间的转换关系为:

$\large \begin{bmatrix} x1\\ y1\\ z1\\ 1 \end{bmatrix}=\begin{bmatrix} R &T \\ 0^{T}&1 \end{bmatrix}\begin{bmatrix} x2\\ y2\\ z2\\ 1 \end{bmatrix}=R_T\begin{bmatrix} x2\\ y2\\ z2\\ 1 \end{bmatrix}\left ( 4 \right )$

其中:

$\large T=\begin{bmatrix} 0\\ 0\\ 0 \end{bmatrix}$ , $\large R_T=\begin{bmatrix} R &T \\ 0^{T}& 1 \end{bmatrix}$

因此上面表达式等价于:

$\large \begin{bmatrix} x1\\ y1\\ z1 \end{bmatrix}=R\begin{bmatrix} x2\\ y2\\ z2 \end{bmatrix}\left ( 5 \right )$

相机坐标系到计算机图像坐标系之间的转换为:

$\large z\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\begin{bmatrix} f/d_{x} &0 & u_{0}\\ 0& f/d_{y}&v_{0} \\ 0&0 &1 \end{bmatrix}\begin{bmatrix} x\\ y\\ z \end{bmatrix}\left ( 6 \right )$

所以:

$\large z1\begin{bmatrix} u1\\ v1\\ 1 \end{bmatrix}=\begin{bmatrix} f/d_{x} &0 & u_{0}\\ 0& f/d_{y}&v_{0} \\ 0&0 &1 \end{bmatrix}\begin{bmatrix} x1\\ y1\\ z1 \end{bmatrix}=M\begin{bmatrix} x1\\ y1\\ z1 \end{bmatrix}\left ( 7 \right )$

$\large z2\begin{bmatrix} u2\\ v2\\ 1 \end{bmatrix}=\begin{bmatrix} f/d_{x} &0 & u_{0}\\ 0& f/d_{y}&v_{0} \\ 0&0 &1 \end{bmatrix}\begin{bmatrix} x2\\ y2\\ z2 \end{bmatrix}=M\begin{bmatrix} x2\\ y2\\ z2 \end{bmatrix}\left ( 8 \right )$

由(5)(7)(8)得:

$\small z1\begin{bmatrix} u1\\ v1\\ 1 \end{bmatrix}=z2*M*R*M^{-1}\begin{bmatrix} u2\\ v2\\ 1 \end{bmatrix}\rightarrow \begin{bmatrix} u1\\ v1\\ 1 \end{bmatrix}=\frac{z2}{z1}*M*R*M^{-1}\begin{bmatrix} u2\\ v2\\ 1 \end{bmatrix}\rightarrow \begin{bmatrix} u1\\ v1\\ 1 \end{bmatrix}=H\begin{bmatrix} u2\\ v2\\ 1 \end{bmatrix}\left ( 9 \right )$

至此,推倒完毕.

下面用几何图像形象说明,绕相机中心可以求得单映性矩阵.

上图中O为投影中心,P为世界坐标系中一个物点,P1,P2为P在像平面中的点,由图可知,已知像平面1,2的关系,把像平面统一到同一个坐标系下,可以得到两个平面方程s1和s2,就可以求得直线OP1和像平面2的交点P2.

那有些同学可能要问了,为什么一定要让相机绕光心旋转才能满足单映性条件?因为如果相机两帧之间存在平移,那么图像之间的映射跟深度有关.在这里我也一并给出推倒过程.

我们对(6)进行一个等价变形得到:

$\large z\begin{bmatrix} u\\ v\\ 1\\ 1/z \end{bmatrix}=\begin{bmatrix} f/d_{x} & 0& u_{0}& 0\\ 0& f/d_{y} & v_{0} &0 \\ 0&0 &1 &0 \\ 0& 0 &0 &1 \end{bmatrix}\begin{bmatrix} x\\ y\\ z\\ 1 \end{bmatrix}\left ( 10 \right )$

那么同理(7)(8)等价变形得到:

$\large z1\begin{bmatrix} u1\\ v1\\ 1\\ 1/z1 \end{bmatrix}=\begin{bmatrix} f/d_{x} & 0& u_{0}& 0\\ 0& f/d_{y} & v_{0} &0 \\ 0&0 &1 &0 \\ 0& 0 &0 &1 \end{bmatrix}\begin{bmatrix} x1\\ y1\\ z1\\ 1 \end{bmatrix}=M\begin{bmatrix} x1\\ y1\\ z1\\ 1 \end{bmatrix}\left ( 11 \right )$

$\large z2\begin{bmatrix} u2\\ v2\\ 1\\ 1/z2 \end{bmatrix}=\begin{bmatrix} f/d_{x} & 0& u_{0}& 0\\ 0& f/d_{y} & v_{0} &0 \\ 0&0 &1 &0 \\ 0& 0 &0 &1 \end{bmatrix}\begin{bmatrix} x2\\ y2\\ z2\\ 1 \end{bmatrix}=M\begin{bmatrix} x2\\ y2\\ z2\\ 1 \end{bmatrix}\left ( 12 \right )$

由(4)(11)(12)得:

$\large \begin{bmatrix} u1\\ v1\\ 1\\ 1/z1 \end{bmatrix}=\frac{z2}{z1}*M*R_T*M^{-1}\begin{bmatrix} u2\\ v2\\ 1\\ 1/z2 \end{bmatrix}=W\begin{bmatrix} u2\\ v2\\ 1\\ 1/z2 \end{bmatrix}\left ( 13 \right )$

其中

$\frac{z1}{z2}\approx 1$

$\large W=\begin{bmatrix} w_{11}& w_{12} & w_{13} & w_{14}\\ w_{21}& w_{22}& w_{23} & w_{24}\\ w_{31}& w_{32}& w_{33}& w_{34}\\ w_{41}& w_{42}& w_{43}& w_{44} \end{bmatrix}$