图像形成（3）理想相机模型

图像形成（3）理想相机模型

前言

  在针孔相机模型和朗伯表面的假设(在此博文中有描述)下，人们可以基本上减少图像形成过程，以追踪从物体上的点到像素的光线。 也就是说，知道空间中的哪个点投影到图像平面上的哪个点允许人们直接将该点处的辐射与其图像的辐照度相关联。

透视投影的几何图形捕获了这个过程的本质，它可以简化为坐标的简单变化和规范投影。

   为了建立三维空间中的点（相对于固定的全局参考系）和它们在二维图像平面中的投影图像（相对于局部坐标系）之间的精确对应，为此建立了数学模型。 过程必须考虑三种类型的转换：

1. 在相机坐标系与世界坐标系之间的坐标变换;
2. 将三维坐标投影到二维图像坐标上;
3. 在图像坐标系的可能选择之间进行坐标变换。

   我们将这种（简化的）图像形成过程描述为一系列坐标变换。 反转这种变换链通常被称为“相机标定”，也是三维重建的关键步骤。

必备知识(回顾)

  考虑正交惯性参考系 { o , X , Y , Z } \{o,X,Y,Z\} {o,X,Y,Z}，称为世界坐标系。 我们将世界坐标系中的点$p$的坐标写为

$${\mathrm{X}}_w=[X_w,Y_w,Z_w]\in {\mathbb{R}}^3$$

  为了相对于另一个参考坐标系（例如相机坐标系$c,{\mathrm{X}}_c$）写入相同点的坐标，有必要描述世界坐标系和相机坐标系之间的变换。 我们将通过$g_{wc}$表明这种变换。 使用此表示法，世界坐标系中的坐标和相机坐标系中的坐标通过以下方式相关：

$${\mathrm{X}}_w=g_{wc}({\mathrm{X}}_c)$$

  反之亦然${\mathrm{X}}_c=g_{cw}{\mathrm{X}}_w$其中$g_{cw}=g_{wc}^{-1}$是逆变换，它将世界坐标系中的坐标映射到相机坐标系中的坐标。

  标准正交参考坐标系之间的坐标变换以参考帧的刚性运动为特征。 坐标的刚性变化由新坐标系的原点位置和新坐标系相对于旧坐标系的方向描述（回忆一下，博主的这篇文章的刚体内容）。 现在考虑坐标$g_{wc}$的变换：

$$g_{wc}=(R_{wc},T_{wc})$$

  其中$T_{wc}\in {\mathbb{R}}^3$和$R_{wc}$是旋转矩阵。这样之后，任意点的坐标变化由下式给出：

$${\mathrm{X}}_w=g_{wc}({\mathrm{X}}_c)=R_{wc}{\mathrm{X}}_c+T_{wc}$$

  编写上述等式的更紧凑的方法是使用齐次表示，

$$\bar{\mathrm{X}}\dot{=}[{\mathrm{X}}^T,1{]}^T\in {\mathbb{R}}^4,{\bar{g}}_{wc}=\left[\begin{array}{cc}{R}_{wc}& T_{wc}\\ 0& 1\end{array}\right]\in {\mathbb{R}}^{4\times 4}$$

  然后可以得到：

$${\bar{\mathrm{X}}}_w\dot{=}{\bar{g}}_{wc}{\bar{\mathrm{X}}}_c=\left[\begin{array}{cc}{R}_{wc}& T_{wc}\\ 0& 1\end{array}\right]\left[\begin{array}{c}{\mathrm{X}}_c\\ 1\end{array}\right]$$

  将世界坐标系中的坐标映射到相机坐标系中的坐标的逆变换由下式给出

$$g_{cw}=(R_{cw},T_{cw})=(R_{wc}^T,-R_{wc}^T{T}_{wc})$$

通过求解$\left[\begin{array}{cc}{R}_{wc}& T_{wc}\\ 0& 1\end{array}\right]$其逆容易求得$\left[\begin{array}{cc}{R}_{wc}^T& -R_{wc}^T{T}_{wc}\\ 0& 1\end{array}\right]$

  可以很容易地通过以下方式验证：

$${\bar{g}}_{cw}{\bar{g}}_{wc}={\bar{g}}_{wc}{\bar{g}}_{cw}=I_{4\times 4}$$

  这是单位变换，所以${\bar{g}}_{cw}={\bar{g}}_{wc}^{-1}$

理想的透视相机

  让我们考虑一个一般的点$p$，其相对于世界参考系的坐标${\mathrm{X}}_w\in {\mathbb{R}}^3$。 如我们刚才所见，相对于摄像机参考系的坐标由${\mathrm{X}}_c=R_{cw}{\mathrm{X}}_w+Tcw\in {\mathbb{R}}^3$给出。 到目前为止，我们使用下标来避免混淆。

  为简单起见，约定$R=R_{cw},T=T_{cw}$和$g=(R,T)$来删除下标。

   我们用$\mathrm{X}=[X,Y,Z{]}^T$表示相对于相机坐标系的点的坐标;${\mathrm{X}}_0$表示相对于世界坐标系的相同点的坐标。

  ${\mathrm{X}}_0$还用于表示相对于相机移动坐标系的初始位置的点的坐标。 这通常是为了方便起见，因为世界坐标系的选择是任意的，并且在特定时间用相机坐标系识别它是方便的。 使用这个约定，我们有：

$$\mathrm{X}=g({\mathrm{X}}_0)=R{\mathrm{X}}_0+T\in {\mathbb{R}}^3$$

  将坐标系附加到投影中心，光轴与 $z$ 轴对齐，并采用理想针孔相机模型【参考博主的该博文】，坐标点$\mathrm{X}$投影到图像平面上点坐标【我们假设已经将投影的图像平面位于3D点的同一侧，所以不需要负号】

$$\mathrm{x}=\left[\begin{array}{c}x\\ y\end{array}\right]=\frac{f}{Z}\left[\begin{array}{c}X\\ Y\end{array}\right]$$

  其中$[x,y{]}^T$是在以主点（光轴和图像平面之间的交点）为中心的二维参考系（视网膜图像坐标系，retinal image frame）中表示的坐标，其中$x$轴和$y$轴分别平行于$X$- 轴和$Y$轴，$f$ 表示与图像平面距投影中心的距离对应的焦距。 在齐次坐标中，这种关系可以写成：

$$Z\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

  我们可以将上述等式重写为

$$Z\bar{\mathrm{x}}=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\bar{\mathrm{X}}$$

  其中$\bar{\mathrm{X}}\dot{=}[X,Y,Z,1{]}^T$是齐次坐标中三维点的表示，并且$\bar{\mathrm{x}}\dot{=}[x,y,1]$是视网膜平面中点的齐次（投影）坐标。 由于$Z$坐标（或点$p$的深度）通常是未知的，我们可以简单地将其表示为任意正标量$\lambda \in {\mathbb{R}}_{+}$。 另请注意，在上面的等式中我们可以将矩阵分解为

$$\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]$$

  定义两个矩阵

$$K_f\dot{=}\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\in {\mathbb{R}}^{3\times 3},{\Pi }_0\dot{=}\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]$$

  矩阵${\Pi }_0$通常被称为标准（或“正交”）投影矩阵。 从坐标变换我们得到$\bar{\mathrm{X}}=[X,Y,Z,1]$:

$$\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]=\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\\ 1\end{array}\right]$$

  总而言之，使用上述表示法，理想相机的几何模型可以描述为：

$$\lambda \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\\ 1\end{array}\right]$$

  或以矩阵形式，

$$\lambda \mathrm{x}=K_f{\Pi }_0\mathrm{X}=K_f{\Pi }_{0}g{\mathrm{X}}_0$$

  如果焦距 $f$ 是已知的并且因此可以归一化为 1，则该模型简化为欧几里德变换$g$，接着是标准投影${\Pi }_0$，即

$$\lambda \mathrm{x}={\Pi }_0\mathrm{X}={\Pi }_{0}g{\mathrm{X}}_0$$

具有内参的相机

  公式$\lambda \mathrm{x}=K_f{\Pi }_0\mathrm{X}=K_f{\Pi }_{0}g{\mathrm{X}}_0$的理想模型是选择相对于非常特殊的参考系（标准视网膜坐标系，canonical retinal frame,以光学中心为中心，其中一个轴与光轴对齐）。

  实际上，当用数码相机拍摄图像时，光轴的坐标或光学中心是未知的，也不是测量单位。 相反当用数码相机捕获图像时，通常可以指定相对于图像的左上角的特定像素的索引$(i,j)$，以像素$(i,j)$的形式获得测量值，图像坐标系的原点通常在图像的左上角。 因此，为了使模型$\lambda \mathrm{x}=K_f{\Pi }_0\mathrm{X}=K_f{\Pi }_{0}g{\mathrm{X}}_0$可用，我们需要指定视网膜平面坐标系与像素阵列之间的关系。

  第一步包括指定沿$x$轴和$y$轴的单位：如果$(x,y)$是以公制单位（例如，毫米）指定的，而$(x_s,y_s)$是与像素坐标相对应的缩放版本 ，然后可以通过缩放矩阵来描述变换来描述从$\mathrm{x}$坐标到${\mathrm{x}}_s$坐标的变换

$$\left[\begin{array}{c}{x}_s\\ y_s\end{array}\right]=\left[\begin{array}{cc}{S}_x& 0\\ 0& S_y\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]$$

  这取决于沿$x$和$y$方向的像素大小（以公制单位表示）,见图1。

图1。从标准化坐标转换为以像素为单位的坐标。

  当$S_x=S_y$时，每个像素都是正方形。 通常，它们可以是不同的，然后像素是矩形的。 然而，这里仍然相对于主点（其中 $z$ 轴与图像平面相交）指定$x_s$和$y_s$，而像素索引$(i,j)$通常相对于左上角指定，通常是正数表示。 因此，我们需要将参考坐标系的原点转换为该角落（如图1所示），

$$x^{\prime }=x_s+o_x$$

$$y^{\prime }=y_s+o_y$$

  其中$(o_x,o_y)$是主点相对于图像参考系的坐标（以像素为单位）。 因此，实际图像坐标由向量${\mathbf{x}}^{\prime }=[x^{\prime },y^{\prime },1{]}^T$而不是理想图像坐标$\mathbf{x}=[x,y,1{]}^T$给出。 上述坐标变换步骤可以用齐次表示写成

$${\mathbf{x}}^{\prime }\dot{=}\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}{s}_x& 0& o_x\\ 0& s_y& o_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]\text{\hspace{1em}(1)}$$

  其中$x^{\prime }$和$y^{\prime }$是以像素为单位的实际图像坐标。 如图1所示。 在像素不是矩形的情况下，可以考虑更一般形式的缩放矩阵，

$$\left[\begin{array}{cc}{s}_x& s_{\theta }\\ 0& s_y\end{array}\right]\in {\mathbb{R}}^{2\times 2}$$

  其中$s_{\theta }$被称为倾斜因子(skew factor)并且与$\cot (\theta )$成比例，其中$\theta$是图像轴$x_s$和$y_s$之间的角度。通常，角度$\theta$非常接近90°，因此$s_{\theta }$非常接近零。因此在（1）中的变换矩阵更一般形式：

$$K_s\dot{=}\left[\begin{array}{ccc}{s}_x& s_{\theta }& o_x\\ 0& s_y& o_y\\ 0& 0& 1\end{array}\right]\in {\mathbb{R}}^{3\times 3}$$

  在许多实际应用中，通常假设$s_{\theta }=0$。

  除了坐标变换的变化之外，在大视场的情况下，人们经常可以观察到沿径向方向的图像失真。 径向畸变效应通常建模为：

$$x=x_d(1+a_1{r}^2+a_2{r}^4)$$

$$y=y_d(1+a_1{r}^2+a_2{r}^4)$$

  其中$(x_d,y_d)$是失真点的坐标，$r^2=x_d^2+y_d^2$和$a_1,a_2$视为附加的相机参数。 但是，为简单起见，我们将假设径向失真得到了补偿(考虑后一个博文写关于失真)。

  现在，将投影模型与缩放和平移相结合，可以得到一个三维点相对于相机坐标系的齐次坐标和以像素表示的图像的齐次坐标之间的更真实的变换模型，

$$\lambda \left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}{s}_x& s_{\theta }& o_x\\ 0& s_y& o_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

  请注意，在上面的等式中，真实相机的效果实际上是通过两个阶段进行的：

• 第一阶段是相对于归一化坐标系的标准透视投影（就好像焦距$f=1$一样）。 该投影以标准投影矩阵${\Pi }_0=[I,0]$为特征。
• 第二阶段是附加变换（在获得的图像$\mathbf{x}$上），其取决于相机的参数，例如焦距$f$，缩放因子$s_x,s_y$和$s_{\theta }$，以及中心偏移$o_x,o_y$。

  第二个转换的特点是两个矩阵$K_s$和$K_f$的组合：

$$K\dot{=}{K}_s{K}_f\dot{=}\left[\begin{array}{ccc}{s}_x& s_{\theta }& o_x\\ 0& s_y& o_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}f{s}_x& f{s}_{\theta }& o_x\\ 0& f{s}_y& o_y\\ 0& 0& 1\end{array}\right]$$

  $K_s$和$K_f$的结合允许我们以下列方式写出投影方程：

$$\lambda x^{\prime }=K{\Pi }_{0}X=\left[\begin{array}{ccc}f{s}_x& f{s}_{\theta }& o_x\\ 0& f{s}_y& o_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

  $3\times 4$常数矩阵${\Pi }_0$表示透视投影。 上三角形$3\times 3$矩阵$K$收集对特定相机“固有”的所有参数，因此称为内在参数矩阵或相机的标定矩阵。 矩阵$K$的元素具有以下几何解释：

• $o_x$: 主点的$x$坐标，以像素为单位,
• $o_y$:主点的$y$坐标，以像素为单位,
• $f{s}_x={\alpha }_x$:水平像素的单位长度大小，
• $f{s}_y={\alpha }_y$:垂直像素中单位长度的大小,
• ${\alpha }_x/{\alpha }_y$:长宽比(纵横比)$\sigma$
• $f{s}_{\theta }$:像素的偏斜，通常接近于零。

  注意，除非纵横比（$\sigma$等于1），否则像素的高度不一定与其宽度相同。

  当标定矩阵 $K$ 已知时，标定坐标$x$可以通过 $K$ 的简单的逆运算从像素坐标$x^{\prime }$获得：

$$\lambda x=\lambda K^{-1}{x}^{\prime }={\Pi }_{0}X=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\text{\hspace{1em}(2)}$$

  关于矩阵$K$的信息可以通过摄像机标定过程获得，一般可能厂商也可能给出，而且相机内参一般在出厂后固定，不排除由于热度等因素导致。在$K$ 补偿的影响下，在归一化坐标系中表示的等式（2）对应于理想的针孔摄像机模型。 图像平面位于投影中心的前方，焦距$f$ 等于$1$。

  总而言之，坐标点${\mathbf{X}}_0=[X_0.Y_0,Z_0,1{]}^T$相对于世界坐标系及其对应的图像坐标$x^{\prime }=[x^{\prime },.y^{\prime },1]$（以像素为单位）之间的几何关系取决于世界坐标系和相机坐标系之间的刚体运动$(R,T)$（有时称为外部校准参数），理想投影${\Pi }_0$和相机固有参数$K$。 因此，图像形成的整体模型由以下等式捕获：

$$\lambda \left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}{s}_x& s_{\theta }& o_x\\ 0& s_y& o_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& T\\ 0& 1\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\\ 1\end{array}\right]$$

  以矩阵形式，我们写

$$\lambda x^{\prime }=K{\Pi }_{0}X=K{\Pi }_{0}g{X}_0$$

  或等效地，

$$\lambda x^{\prime }=K{\Pi }_{0}X=[KR,KT]X_0$$

  通常，为方便起见，我们称$3\times 4$矩阵$K{\Pi }_{0}g=[KR,KT]$为（一般）投影矩阵$\Pi$，用以区别于标准投影矩阵${\Pi }_0$。 因此，上述等式可以简单地写成

$$\lambda x^{\prime }=\Pi X_0=K{\Pi }_{0}g{X}_0\text{\hspace{1em}(3)}$$

  与理想的相机模型$\lambda \mathrm{x}={\Pi }_0\mathrm{X}={\Pi }_{0}g{\mathrm{X}}_0$(前面所述)相比，这里唯一的变化是标准投影矩阵${\Pi }_0$被一般的$\Pi$取代。

  为了明确地看到透视投影方程的非线性特性，我们可以用方程式（3）除以尺度$\lambda$，得到图像坐标$(x^{\prime }，y^{\prime },z^{\prime })$的下列表达式，

$$x^{\prime }=\frac{{\pi }_1^T{X}_0}{{\pi }_3^T{X}_0},y^{\prime }=\frac{{\pi }_2^T{X}_0}{{\pi }_3^T{X}_0},z^{\prime }=1$$

  其中${\pi }_1^T,{\pi }_2^T，{\pi }_3^T$是投影矩阵$\Pi$的三行。

总结

  空间中的三维点$X$经过投影映射到相机前方$z=1$处的归一化图像平面的像素点$x^{\prime }$的变换公式如下：

$$\lambda x^{\prime }=K{\Pi }_{0}X$$

  其中$\lambda$是三维点的深度（一般未知），是正值。

  $K$是相机内参矩阵（标定），一般是$K_s$和$K_f$的组合。

  ${\Pi }_0$是标准（或“正交”）投影矩阵。

对于内参矩阵$K$:

$$K\dot{=}{K}_s{K}_f\dot{=}\left[\begin{array}{ccc}{s}_x& s_{\theta }& o_x\\ 0& s_y& o_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}f{s}_x& f{s}_{\theta }& o_x\\ 0& f{s}_y& o_y\\ 0& 0& 1\end{array}\right]$$

矩阵$K$的元素具有以下几何解释：

• $o_x$: 主点的$x$坐标，以像素为单位,
• $o_y$:主点的$y$坐标，以像素为单位,
• $f{s}_x={\alpha }_x$:水平像素的单位长度大小，
• $f{s}_y={\alpha }_y$:垂直像素中单位长度的大小,
• ${\alpha }_x/{\alpha }_y$:长宽比(纵横比)$\sigma$
• $f{s}_{\theta }$:像素的偏斜，通常接近于零。