【草履虫都能学会】03 单目视觉

前言

  根据前两篇文章，想必读者已经掌握了计算机视觉的相关基础，那么接下来就开始正式的学习。
  本篇要介绍的是单目视觉。单目视觉指研究单张像片、其所拍摄的物理世界以及光学传感器三者间的几何关系。单目视觉也叫做单目解析。
  本文将介绍各类坐标系、坐标系间的转换方式以及单目视觉的成像几何方程。

一、坐标系

1. 笛卡尔坐标系

其实就是从小学到现在学到的直角坐标系。包括二维平面直角坐标系和三维空间直角坐标系。

2. 图像坐标系

图像坐标系指的是在拍摄的像片上建立的坐标系，包括像素坐标系和像平面坐标系。

像素坐标系。指的是以像素pixel为单位的坐标系，以数字图像的形式呈现在屏幕上的图像，由于电子屏幕以像素为单位显示内容，所以像素坐标系也以单个像素为单位建立。通常以像片左上角为坐标原点。

像平面坐标系。以实际的长度为单位，一般取毫米mm。坐标原点一般在图像中心。

如图，$I{O}_{ij}J$表达的是像素坐标系，$X{O}_{xy}Y$表达的是像平面坐标系。

两套坐标系之间可以进行相互转换。令$(I_0,J_0)$为像素坐标系原点，$(x_0,y_0)$为像平面坐标系原点，$d$为每个像素格的实际大小，$(I,J)$和$(x,y)$表示图像上任意一点在两套坐标系下的坐标。两者相互转换的公式为：$$\begin{array}{c}\{\begin{array}{rl}x& =(I-I_0)\times d+x_0\\ y& =(J-J_0)\times d+y_0\end{array}\end{array}\begin{array}{c}\{\begin{array}{rl}I& =(x-x_0)\times \frac{1}{d}+I_0\\ J& =(y-y_0)\times \frac{1}{d}+J_0\end{array}\end{array}$$

3. 线阵相机坐标系

线阵相机的成像采用线阵CCD推扫式成像。拍摄时，摄影平台飞行方向垂直于CCD扫描线，随着摄影平台的向前移动，完成推扫成像。

线阵相机只有一个参数，表示为$(0,y)$。但是在推扫得到的二维图像上，$x$坐标不再为0，需要结合运动方程来表示各扫描行之间的距离关系:$$x_k=x_0+at$$该式表示在$t$时刻扫描线距离出发点$x_0$的距离$x_k$；反之，从$x$坐标也可以推出成像时刻$t$:$$t=t_0+b(x_k-x_0)$$其中$b$表示每行影像采样时间，$t_0$表示在起始点$x_0$的成像时刻。

4. 相机坐标系

也叫传感器坐标系。从图像坐标系到传感器坐标系的过程，也是二维图像平面到三维真实世界的转换过程。相机坐标系也自然而然成为了2D坐标和3D坐标间相互联系的纽带。

相机坐标系是一个三维坐标系，是以相机聚焦中心为原点，光轴为$Z$轴建立的三维直角坐标系。其实也就是相机为坐标原点，镜头指向为$Z$轴方向，在真实世界中建立的一个坐标系。

用这张图可以直观的展现出两台坐标系间的关系。其中$xyzO$为相机坐标系，$x^{\prime }{O}^{\prime }{y}^{\prime }$为图像坐标系。

二维图像上的一点$x$和对应的相机坐标系下的点$x_c$之间的转换可以用相机内参矩阵$K$完成，如下：$$\begin{array}{c}\mathbf{x}=K{\mathbf{x}}_c=\left[\begin{array}{ccc}{f}_x& s& x_0\\ 0& f_y& y_0\\ 0& 0& 1\end{array}\right]{\mathbf{x}}_c\end{array}$$这个内参矩阵可以通过相机检校得到。

5. 平台传感器

汽车、飞机、卫星等载体上可能会有多个相机或传感器，为了描述载体上这多个传感器之间的相对位置关系，需要设立固定的平台坐标系$x_b$。此时传感器坐标和平台坐标之间的转换只需要刚体变换$$x_b=[R|T]x_c$$

二、普通光学相机的成像模型

了解用到的基本坐标系后，现在进一步介绍一系列光学相机的成像模型。

1. 平面相机

在01篇的几何变换部分中，已经介绍过平面相机的成像模型，也就是三维世界到二维世界的透视变换，现在基于坐标系统进一步展开。

假定相机已经过标定，也就是内方位矩阵$K$已知（相机检校目的就是获取相机内方位元素）。相机坐标$x_c$和真实坐标$X_w$之间的关系如下：$$x_c=\lambda X_c=\lambda [R|T]X_w$$其中$x_c=K^{-1}x$，$x$是像素坐标。请注意$x_c$也是三维的坐标，包含$xyz$，不要和二维像素坐标混淆。把世界坐标$X_w$旋转平移到相机坐标系后，两套坐标只相差一个比例因子$\lambda$。把上式展开之后如下表示：$$\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=\lambda R\left[\begin{array}{c}X+X_S\\ Y+Y_S\\ Z+Z_S\end{array}\right]$$
平面相机需要记住成像方程。

2. 线阵相机

多用于卫星摄影测量，对计算机视觉来说无需掌握太多，了解即可。

对于一维CCD线阵相机，可以沿用面阵相机的成像方程，只不过令$x\equiv 0$即可。

但是实际上处理的是由时间积分成的二维图像，所以更倾向于建立一个二维成像模型（也称为轨道模型）。但是由于平台运动条件以及其他原因影响，任一时刻下的CCD扫描行都有其自身的外方位元素，所以严格的二维成像模型并不存在，只能在几何上进行模拟。常用的几何模型通常都有一个基本假设：平台运行平稳。下面介绍几个常用轨道模型。

二次多项式模型。模型方程如下：$$X_t=X_0+At+B{t}^2$$其中$X_t$是卫星平台的外方位元素包含三个坐标$XYZ$和三个旋转因子；$A、B$是对应的仿射系数；$X_0$是$t=0$初始状态的外方位元素。共计18个未知参数。

马尔科夫随机模型。马尔科夫随机模型假定：运动平台的当前状态（当下的外方位元素、速度、加速度等）仅由上一时刻的状态决定，与其更早的状态无关。模型表达如下：$$X_t=X_{t-1}+V\Delta t$$其中，$V$代表三维空间的线速度和角速度，$\Delta t$表示相邻CCD扫描线之间的积分时间。

3. 鱼眼相机

武大摄影测量方向的同学了解一般原理就行，考试一般不考鱼眼相机。

鱼眼相机广泛应用于测绘，交通和安防系统等，例如商场的监控镜头就是鱼眼。鱼眼镜头是球面的一部分，相比平面相机来说，鱼眼存在向内折射，从而能够显示更大范围的场景。平面相机成像模型和鱼眼相机的成像模型如图：
左图为平面相机，右图为鱼眼相机。可以看出从物点发出的光线经过相机时发生了折射。在平面相机中$\alpha =\beta$，但是在鱼眼相机中，两者不相等，关系为$tan\beta =\frac{r}{f}$。

对于鱼眼相机，也可以使用投影模型进行数学上的拟合。以下是几种典型的投影模型：

1. 等距投影。入射角和半径成线性关系，量测了像点坐标$x=(x,y)$，可以计算半径$r=\sqrt{x^2+y^2}$，并建立半径$r$和入射角$\alpha$之间的关系如下：$$r=f\cdot \alpha$$
2. 等积投影。入射角和成像面上的投影面积之比为常数。$$r=2f\cdot \sin 0.5\alpha$$
3. 正交投影。入射角的正弦和半径成正比。$$r=f\cdot \sin \alpha$$

其中，等距投影和等积投影应用最广泛。选择某种投影模型后，就可以进一步推导鱼眼相机的成像方程了。这里选择等距投影进行推导。

同样令物点世界坐标为$X_w$，由物点旋转平移（$R,T$）后转换到相机坐标系之下，则其相机坐标为$$X_c=[X,Y,Z]=\lambda [R|T]X_w$$把上式带入$r=f\cdot \alpha$中，可以得到如下结果$$\sqrt{x^2+y^2}=f\alpha =f\arctan \frac{\sqrt{X^2+Y^2}}{Z}$$其中$(x,y)$代表二维像片上的坐标，$(X,Y,Z)$代表相机坐标$X_c$。看上面的成像模型图易知，$\frac{Y}{X}=\frac{y}{x}$，带入继续展开可以得到最终结果：$$x-x_0=fX\frac{\arctan \frac{\sqrt{X^2+Y^2}}{Z}}{\sqrt{X^2+Y^2}}$$$$y-y_0=fY\frac{\arctan \frac{\sqrt{X^2+Y^2}}{Z}}{\sqrt{X^2+Y^2}}$$
上式就是等距投影下的鱼眼相机成像几何方程

4. 通用几何成像模型

什么是“通用”？意味着直接用一组参数去拟合物点和像点之间的对应关系，而不需要考虑什么几何变换和传感器内方位元素。
这部分仅做了解即可，公式太复杂不用背。

常用的通用几何成像模型是有理函数模型（Rational Function Model,RFM）。无论物点和像点之间的关系有多么复杂，都只用一个变换矩阵来拟合，如下例：$$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\lambda \left[\begin{array}{cccc}{L}_1& L_2& L_3& L_4\\ L_5& L_6& L_7& L_8\\ L_9& L_{10}& L_{11}& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$式子展开表示为$$\{\begin{array}{rl}x& =\frac{L_{1}X+L_{2}Y+L_{3}Z+L_4}{L_{9}X+L_{10}Y+L_{11}Z+1}\\ y& =\frac{L_{5}X+L_{6}Y+L_{7}Z+L_8}{L_{9}X+L_{10}Y+L_{11}Z+1}\end{array}$$上式就是最简单的RFM（一阶分式），本质上等价于直接线性变换（Direct Linear Transformation,DLT）。等式右边的大写$[X,Y,Z,1{]}^T$是物点的三维世界坐标，$[x,y,1]$是二维像点坐标。以$L_i$组成的3×4矩阵是相机矩阵$P$，相当于把内参矩阵$K$和外参矩阵$[R|T]$同时考虑，整合为一个矩阵，直接完成二维像点到三维物点的转换。

上式是一种简洁并严格的几何模型，在近景摄影测量和计算机视觉中大量应用。包含11个未知参数，可以利用6组以上的控制点，结合最小二乘平差法求解。

除了一阶RFM（即DLT），三阶有理分式也很常见，主要应用于线阵相机中。将不超过三阶的多项式写为:$$\begin{array}{rl}p& =\sum _{i=0}^{m_1}\sum _{j=0}^{m_2}\sum _{k=0}^{m_3}{a}_{ijk}{X}^i{Y}^j{Z}^k\\ & =a_0+a_{1}Z+a_{2}Y+a_{3}X+a_{4}ZY+a_{5}ZX+a_{6}YX+a_7{Z}^2\\ & +a_8{Y}^2+a_9{X}^2+a_{10}ZYX+a_{11}{Z}^{2}Y+a_{12}{Z}^{2}X+a_{13}{Y}^{2}Z\\ & +a_{14}{Y}^{2}X+a_{15}Z{X}^2+a_{16}Y{X}^2+a_{17}{Z}^3+a_{18}{Y}^3+a_{19}{X}^3\end{array}$$其中$m_i$为整数，其和不超过3；三阶多项式共有20个未知参数，根据爱因斯坦约定，张量求和省略求和符号，可以写为:$$p=\sum _{i=0}^{m_1}\sum _{j=0}^{m_2}\sum _{k=0}^{m_3}{a}_{ijk}{X}^i{Y}^j{Z}^k=a_{ijk}{X}^i{Y}^j{Z}^k$$于是线阵相机的三阶RFM模型可以写为：$$\{\begin{array}{rl}{r}_n& =\frac{p_1(X_n,Y_n,Z_n)}{p_2(X_n,Y_n,Z_n)}=\frac{a_{ijk}{X}_n^i{Y}_n^j{Z}_n^k}{b_{ijk}{X}_n^i{Y}_n^j{Z}_n^k}\\ c_n& =\frac{p_3(X_n,Y_n,Z_n)}{p_4(X_n,Y_n,Z_n)}=\frac{c_{ijk}{X}_n^i{Y}_n^j{Z}_n^k}{d_{ijk}{X}_n^i{Y}_n^j{Z}_n^k}\end{array}$$这里$(r_n,r_m)$、$(X_n,Y_n,Z_n)$分别是图像坐标和物点坐标的归一化形式。由于一个三阶多项式有20个未知参数，所以线阵相机RFM模型的未知参数有20×4=80个，其中令$b_{19}$和$d_{19}$为1，实际有78个参数，可以利用39组以上的控制点进行最小二乘平差求解。

PS：全景相机的成像模型不再赘述，摄测方向期末考试不考。对于其他读者可以自行翻阅《只能摄影测量学导论》作以了解。

三、其他补充

1. 空间后方交会

无论面阵、线阵还是曲面相机，其成像模型都包含三类参数：像点观测值、物点观测值、相机模型内外参数。利用像点观测值和对应的物点观测值求取相机模型参数的过程，称为空间后方交会。对于单像解析，通常假定内方位元素$K$已知，因此只需要求取外方位元素$[R|T]$，也叫做外定向。

对于模型的解法，无论是物理成像模型还是通用成像模型，都可以基于一定数量的控制点用线性或者非线性最小二乘求解。在摄影测量中更倾向于非线性最小二乘求解。

如果采用线性最小二乘，或奇异值分解（Singular Value Decomposition,SVD），就需要将$[R|T]$或$K[R|T]$直接看做未知数。这里考虑内方位$K$未知的情况，那么需要直接求解3×4的相机矩阵$P$，也就是通用成像模型中的一阶RFM。$P$中有11个参数，需要列出11个以上的线性方程组求解。将DLT方程变形得到：$$\{\begin{array}{rl}& x(L_{9}X+L_{10}Y+L_{11}Z+1)-(L_{1}X+L_{2}Y+L_{3}Z+L_4)=0\\ & y(L_{9}X+L_{10}Y+L_{11}Z+1)-(L_{5}X+L_{6}Y+L_{7}Z+L_8)=0\end{array}$$写为矩阵形式并最小化得到：$$\underset{L}{\min }\sum _i\Vert AL{\Vert }^2$$使用最小二乘求解上式即可。

解出$L$后，也就是解出了$P$矩阵，但是$P$矩阵包含了内方位元素和外方位元素，所以可以从$P$矩阵恢复内参矩阵和外参矩阵，这个过程称为“相机矩阵的分解”。可以利用SVD分解和RQ分解进行相机矩阵的分解，具体略。

2. 正算和反算

将世界坐标和相机参数作为输入，求取像点坐标的过程，叫做“反算”。

反之，将像点坐标和相机参数作为输入，求取对应世界坐标的过程，称为“正算”。

3. 灭点和灭线

灭点是透视投影中非常特殊的点，是现实世界中无穷远点在像片上的投影。

例如，现实中的两条铁轨相交于无穷远，在像片上，延长两条铁轨，相交于一点，就是“铁轨方向的”灭点。

再如，建筑物立面的铅垂线相互平行，它们在像片上投影的交点就是“垂直方向的”灭点，其在摄影测量中有个专业的名词：“像底点”。

考虑任意方向$d$的灭点，也就是平行于$d$的所有直线在无穷远处的交点，借助齐次式可以表达为$X_{\infty }=(d,0)$，带入到透视变换方程可得：$$\mathbf{v}=K\left[\begin{array}{c}R|T\end{array}\right]{\mathbf{X}}_{\infty }=KRd$$上式就是灭点的几何成像模型。

而灭线是无穷远平面在像片的投影，可以利用两个灭点确定灭线。比如地平面上的方形地砖，分别延长其相互垂直的平行线段，得到两个灭点，其连线就是“地平面方向的”灭线。
除了地平面，窗户、墙壁、栅栏等具有平面特性、且易提取两组平行线的物体，都可作为计算灭线的潜在目标。

4. 相机检校

由于相机镜头可能存在变形，所以拍摄出来的像片也会出现一些畸变，为了消除镜头畸变，提高拍摄的精度，需要在拍摄之前对相机进行相机检校，获取相机的内参$K$。

但是一般用$K$无法完全表达镜头的变形，于是在内方位元素$(x_0,y_0,f)$的基础上再加一组额外参数来进一步拟合镜头的畸变，这个方法也称为“附加参数法”。主要包括径向畸变和切向畸变：$$\begin{array}{rl}dx& =x\left(k_1{r}^2+k_2{r}^4+k_3{r}^6\right)+p_1\left(r^2+2x^2\right)+2p_{2}xy\\ dy& =y\left(k_1{r}^2+k_2{r}^4+k_3{r}^6\right)+p_2\left(r^2+2y^2\right)+2p_{1}xy\end{array}$$式子中，$$\begin{array}{rl}x& =x^{\prime }-x_0,y=y^{\prime }-y_0\\ r^2& =x^2+y^2\end{array}$$其中$(x^{\prime },y^{\prime })$是像片坐标的原始量测值，$k_i$为径向畸变参数，$p_i$为切向畸变参数。$(dx,dy)$即附件相机畸变参数。最终的附加畸变参数的几何成像模型可以表示为：$$\begin{array}{rl}x-dx& =-f\frac{\overline{X}}{\overline{Z}}\\ y-dy& =-f\frac{\overline{Y}}{\overline{Z}}\end{array}$$用$(dx,dy)$代替原来的$(x_0,y_0)$来拟合相机镜头的畸变。上式含有6个外方位元素，3个内方位元素，5个畸变参数{$k_1,k_2,k_3,p_1,p_2$}，共14个未知参数，需要7组以上的控制点结合非线性最小二乘求解。

例如可以用自己的手机相机对检校棋盘格进行不同角度的拍摄，然后测量得到真实世界的棋盘格坐标以及二维图片中的格点坐标，用最小二乘编程求解。具体的相机检校实验我会单独写一篇博文进行讲解，此处做了解即可。

小结

介绍了单目视觉的相关内容，包括一系列坐标系，普通相机的光学成像模型，以及相关的内容补充。其中需要熟练掌握的是坐标系和平面相机的成像模型。过于复杂的公式了解即可，无需死记硬背。