由摄像机透视投影矩阵到单映性矩阵的推倒过程

单映性矩阵是一个3*3矩阵,描述了摄影几何中平面到平面的映射,其自由度为8,由九个元素组成(为什么是9个元素,8个自由度,下文求解过程会详细说明),通常令最后一个元素为1或者使其F范数为1,该矩阵可将无穷远点投射于有限处,即空间中平行线在图像上相交于有限处.其表达式如下:

                                                                     \large \begin{bmatrix} x1\\ y1\\ 1\\ \end{bmatrix} =\begin{bmatrix} h11 &h12 &h13 \\ h21& h22&h23\\ h31&h32&h33\\ \end{bmatrix}\begin{bmatrix} x2\\ y2 \\ 1\\ \end{bmatrix} \left ( 1 \right )  

其中,单映性矩阵为:

 \large H=\begin{bmatrix} h11&h12 &h13 \\ h21& h22 &h23 \\ h31& h32 &h33 \end{bmatrix}\left ( 2 \right ) 

单映性矩阵一般应用在全景拼接上,所拍摄的全景是相机绕其光心所得,若不满足相机绕光心旋转这一条件,那么全景拼接的效果很差.另外,当H的最后一行为[0,0,1]时,则不能将无穷远点投射于有限处,称为仿射变换(Affine),自由度为6.

图像满足单映性矩阵的条件:当相机拍摄的是平面物体,或者相机绕其光心旋转拍摄,那么图像两帧之间满足单映性条件.

那么如何从符合针孔模型的相机透视投影矩阵推倒出单映性矩阵呢?

在回答这个问题之前,让我们再回顾一下相机的成像模型.一般情况下,相机的数学的模型都符合针孔模型,因此相机透视投影矩阵一般为(世界坐标系到计算机图像坐标系的转换关系):

\large s\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\begin{bmatrix} 1/d_{x}&0 &u_{0}\\ 0& 1/d_{y} &v_{0} \\ 0& 0 & 1 \end{bmatrix}\begin{bmatrix} f &0 &0 &0 \\ 0 & f &0 &0 \\ 0&0 & 1 & 0 \end{bmatrix}\begin{bmatrix} R &T \\ 0^{T}& 1 \end{bmatrix}\begin{bmatrix} X_{w}\\ Y_{w}\\ Z_{w}\\ 1 \end{bmatrix}=\begin{bmatrix} a_{x} & 0 & u_{0} &0 \\ 0& a_{y} & v_{0} & 0\\ 0 & 0 & 1 &0 \\ \end{bmatrix}\begin{bmatrix} R &T \\ 0^{T}&1 \end{bmatrix}=M_{1}M_{2}P_{w} \left ( 3 \right )

其中:

(1)s为缩放因子;

(2)dx,dy表示像素的物理长度一般为毫米单位;

(3)f(mm)为物理焦距;

(4)u0,v0为光轴和图像的交点,在理想情况下为图像中心,比如图像分辨率为640*480,那么u0=320,v0=240

(5)R为3*3的旋转矩阵,T为3*1的平移矩阵;

(6)Pw为世界坐标系中一点;

当相机绕光心旋转时,假设相机之间的旋转矩阵为R(此时没有平移),那么相机坐标系之间的转换关系为:

                                                                \large \begin{bmatrix} x1\\ y1\\ z1\\ 1 \end{bmatrix}=\begin{bmatrix} R &T \\ 0^{T}&1 \end{bmatrix}\begin{bmatrix} x2\\ y2\\ z2\\ 1 \end{bmatrix}=R_T\begin{bmatrix} x2\\ y2\\ z2\\ 1 \end{bmatrix}\left ( 4 \right )

其中:

\large T=\begin{bmatrix} 0\\ 0\\ 0 \end{bmatrix}   ,  \large R_T=\begin{bmatrix} R &T \\ 0^{T}& 1 \end{bmatrix}

因此上面表达式等价于:

                                            \large \begin{bmatrix} x1\\ y1\\ z1 \end{bmatrix}=R\begin{bmatrix} x2\\ y2\\ z2 \end{bmatrix}\left ( 5 \right )

相机坐标系到计算机图像坐标系之间的转换为:

\large z\begin{bmatrix} u\\ v\\ 1 \end{bmatrix}=\begin{bmatrix} f/d_{x} &0 & u_{0}\\ 0& f/d_{y}&v_{0} \\ 0&0 &1 \end{bmatrix}\begin{bmatrix} x\\ y\\ z \end{bmatrix}\left ( 6 \right )

所以:

\large z1\begin{bmatrix} u1\\ v1\\ 1 \end{bmatrix}=\begin{bmatrix} f/d_{x} &0 & u_{0}\\ 0& f/d_{y}&v_{0} \\ 0&0 &1 \end{bmatrix}\begin{bmatrix} x1\\ y1\\ z1 \end{bmatrix}=M\begin{bmatrix} x1\\ y1\\ z1 \end{bmatrix}\left ( 7 \right )

\large z2\begin{bmatrix} u2\\ v2\\ 1 \end{bmatrix}=\begin{bmatrix} f/d_{x} &0 & u_{0}\\ 0& f/d_{y}&v_{0} \\ 0&0 &1 \end{bmatrix}\begin{bmatrix} x2\\ y2\\ z2 \end{bmatrix}=M\begin{bmatrix} x2\\ y2\\ z2 \end{bmatrix}\left ( 8 \right )

由(5)(7)(8)得:

\small z1\begin{bmatrix} u1\\ v1\\ 1 \end{bmatrix}=z2*M*R*M^{-1}\begin{bmatrix} u2\\ v2\\ 1 \end{bmatrix}\rightarrow \begin{bmatrix} u1\\ v1\\ 1 \end{bmatrix}=\frac{z2}{z1}*M*R*M^{-1}\begin{bmatrix} u2\\ v2\\ 1 \end{bmatrix}\rightarrow \begin{bmatrix} u1\\ v1\\ 1 \end{bmatrix}=H\begin{bmatrix} u2\\ v2\\ 1 \end{bmatrix}\left ( 9 \right )

至此,推倒完毕.

下面用几何图像形象说明,绕相机中心可以求得单映性矩阵.

上图中O为投影中心,P为世界坐标系中一个物点,P1,P2为P在像平面中的点,由图可知,已知像平面1,2的关系,把像平面统一到同一个坐标系下,可以得到两个平面方程s1和s2,就可以求得直线OP1和像平面2的交点P2.

那有些同学可能要问了,为什么一定要让相机绕光心旋转才能满足单映性条件?因为如果相机两帧之间存在平移,那么图像之间的映射跟深度有关.在这里我也一并给出推倒过程.

我们对(6)进行一个等价变形得到:

\large z\begin{bmatrix} u\\ v\\ 1\\ 1/z \end{bmatrix}=\begin{bmatrix} f/d_{x} & 0& u_{0}& 0\\ 0& f/d_{y} & v_{0} &0 \\ 0&0 &1 &0 \\ 0& 0 &0 &1 \end{bmatrix}\begin{bmatrix} x\\ y\\ z\\ 1 \end{bmatrix}\left ( 10 \right )

那么同理(7)(8)等价变形得到:

\large z1\begin{bmatrix} u1\\ v1\\ 1\\ 1/z1 \end{bmatrix}=\begin{bmatrix} f/d_{x} & 0& u_{0}& 0\\ 0& f/d_{y} & v_{0} &0 \\ 0&0 &1 &0 \\ 0& 0 &0 &1 \end{bmatrix}\begin{bmatrix} x1\\ y1\\ z1\\ 1 \end{bmatrix}=M\begin{bmatrix} x1\\ y1\\ z1\\ 1 \end{bmatrix}\left ( 11 \right )

\large z2\begin{bmatrix} u2\\ v2\\ 1\\ 1/z2 \end{bmatrix}=\begin{bmatrix} f/d_{x} & 0& u_{0}& 0\\ 0& f/d_{y} & v_{0} &0 \\ 0&0 &1 &0 \\ 0& 0 &0 &1 \end{bmatrix}\begin{bmatrix} x2\\ y2\\ z2\\ 1 \end{bmatrix}=M\begin{bmatrix} x2\\ y2\\ z2\\ 1 \end{bmatrix}\left ( 12 \right )

由(4)(11)(12)得:

\large \begin{bmatrix} u1\\ v1\\ 1\\ 1/z1 \end{bmatrix}=\frac{z2}{z1}*M*R_T*M^{-1}\begin{bmatrix} u2\\ v2\\ 1\\ 1/z2 \end{bmatrix}=W\begin{bmatrix} u2\\ v2\\ 1\\ 1/z2 \end{bmatrix}\left ( 13 \right )

其中

\frac{z1}{z2}\approx 1

\large W=\begin{bmatrix} w_{11}& w_{12} & w_{13} & w_{14}\\ w_{21}& w_{22}& w_{23} & w_{24}\\ w_{31}& w_{32}& w_{33}& w_{34}\\ w_{41}& w_{42}& w_{43}& w_{44} \end{bmatrix}

由(13)得:

\large u1=w_{11}*u2+w_{12}*v2+w_{13}+w_{14}*\frac{1}{z2}

\large v1=w_{21}*u2+w_{22}*v2+w_{23}+w_{24}*\frac{1}{z2}

可见,u1,v1依赖于z2.

同样这里依然用几何图形来直观的解释为什么不绕相机中心旋转(也即相机投影中心存在偏移),不能求得单映性矩阵.如下图所示:

O1和O2是两个相机的投影中心,S1和S2为其对应的像平面,S21为S2的延长面,P为世界坐标系中的一物点,其在S1和S2以及S21上的投影分别为P1,P2,P3,从几何上很直观的可以看到,已知S1,S2,直线O1P1,只能求得P3,无法求得P2,所以无法获得单映射性矩阵.

以上通过数学推倒以及几何上的直观解释,说明了单映性矩阵的适用条件,若有不对的地方或者不足的地方,欢迎大家批评指正.

### 透视投影矩阵公式及其推导 #### 定义视锥体参数 在OpenGL中,透视投影涉及到一个四棱锥形的视锥体。该视锥体由以下几个参数定义: - 近裁剪面距离 \(n\) (near plane distance) - 远裁剪面距离 \(f\) (far plane distance) - 视场角 \(FOV_y\), 即垂直方向上的视角大小 - 屏幕宽高比 \(aspectRatio = \frac{w}{h}\) 这些参数用于描述摄像机所能看到的空间范围。 #### 构建初始变换矩阵 为了将这个不规则形状映射到标准化设备坐标系(NDC),即边长为2单位长度(-1至+1)的标准立方体内,需要执行一系列线性变换操作[^3]。 首先考虑如何处理z轴数据。对于任意一点P(x,y,z),其经过透视除法后的屏幕空间位置应满足如下关系: \[ P_{screen}=\left(\begin{array}{c} x' \\ y' \\ z' \end{array}\right)=\left[\begin{array}{ccc} S_x & 0 & 0\\ 0 & S_y & 0\\ 0 & 0 & A+B / z \end{array}\right]\cdot\left(\begin{array}{l} x \\ y \\ z \end{array}\right)\] 这里\(A,B\)是为了调整最终NDC中的z值而引入的新变量;\(S_x,S_y\)则是用来缩放xy坐标的因子,通常情况下会根据视野角度窗口比例来设定。 #### 推导具体数值 考虑到当物体位于近平面(near plane)时应该被完全可见,在远平面上则刚好消失不见,则有: \[ \text {At } z=n,\quad w'=An+B=-(f+n)(f-n)^{-1}\\ \text {At } z=f,\quad w'=Af+B=-2fn(f-n)^{-1} \] 由此得出系数表达式: \[ A=(f+n)/(f-n) \\ B=(-2fn)/(f-n) \] 因此完整的透视投影矩阵形式如下所示: ```matlab M_persp = | s_x 0 0 0 | | 0 s_y 0 0 | | 0 0 -(f+n)/d -1 | | 0 0 (-2*f*n)/d 0 | 其中 d=f-n ;s_x=1/tan(fov/2);s_y=s_x/ratio; ``` 此矩阵能够有效地将三维场景内的几何图形按照人类视觉习惯投射到二维屏幕上,并保持一定的深度信息以便后续渲染管线使用[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值