摄像机模型

最近在做双目测距，之前看过摄像机模型的内容但是后来发现自己一直没搞清楚，这两天又仔细看了Learning OpenCV以及网上的一些资料才算理解的清楚一些。如果有什么错误还麻烦指出，感谢~

摄像机模型的介绍是为了了解摄像机获取图像产生图片的过程。实质上是一种坐标变换关系。这种关系可以由一个从三维空间到二维空间的映射关系来表示。

坐标系系统

要详细地研究三维空间点的信息到二维空间的转换，就有必要规范建立一些坐标系系统。
世界坐标系：描述了摄像机的位置以及空间物体位置的坐标系，一般使用的是三维直角坐标系。这个坐标系的选定没有特殊的要求。
相机坐标系：使用三维直角坐标系，摄像机镜头光心作为原点 $O$，$z$ 轴方向指向投影屏幕，与摄像机镜头垂直，$xy$ 平面平行于投影屏幕，且 $x$ 轴、$y$ 轴分别与图像像素坐标系的 $x$ 轴、$y$ 轴平行。
图像像素坐标系：使用直角坐标系，以图像的左上角作为坐标原点，两条坐标轴分别指示行数和列数，使用图像像素作为衡量单位。
图像物理坐标系：使用直角坐标系，一般以图像的中心作为坐标系原点，两条轴分别与图像像素坐标系的平行，使用毫米作为衡量单位。

图像像素坐标系描述的是产生的图片，图像物理坐标系描述的是成像平面。

投影变换

将坐标为 $(X_i, Y_i, Z_i)$ 的物理点 $Q_i$ 映射到投影平面上坐标为 $(x_i, y_i)$ 的点的过程叫投影变换。采用这种变换，可以使用齐次坐标。
- 齐次坐标：齐次坐标就是一个 $n$ 维向量的 $n+1$ 维矢量表示。其集合意义可理解为三维空间中第三维为常数的一平面的二维向量。

最简单的摄像机模型：针孔模型

对于假想的针孔摄像机，从针孔到屏幕的距离视作焦距。f是摄像机焦距，Z是摄像机到物体的距离，X是物体长度，则$x=f*X/Z$。

左边的平面为成像平面，右边的平面为针孔平面，optical axis为光轴。
针孔中心的点被理解为投影中心。
光轴与成像平面的交点被称为主点。

假设世界坐标系原点在光心，即和相机坐标系重合，然后将成像平面放到光心的前方进行理想化，这样方便计算。

此时，给一个世界坐标系中的点 $M(x, y, z)$（单位是mm）则由于假设，该点在相机坐标系下坐标也是 $M(x, y, z)$，它经过投影变换产生的成像平面上的点的坐标为 $m(u, v)$（单位是mm）（注意是成像平面上的点的坐标，位于图像物理坐标系下，不是图像平面的点的坐标因为图像平面上点的坐标涉及到mm和像素的转换，下面讨论），易得以下关系：

$$u = f \times \frac{x}{z} \\ v = f \times \frac{y}{z}$$
如果用齐次坐标表示，可以表示成 $$m=PM, 其中m=\begin{bmatrix} u \\ v \\1 \end{bmatrix}, P=\begin{bmatrix} f & 0 & 0 \\ 0 & f & 0 \\0 & 0 & 1\end{bmatrix}, M=\begin{bmatrix}x \\ y \\ z \end{bmatrix}$$

再假设图像像素坐标系的原点在图像中心，即和图像物理坐标系重合。
若 $m(u, v)$（单位是mm）对应的图片上的像素的点为 $\tilde{m}(\tilde{u}, \tilde{v})$（单位是像素）（位于图像像素坐标系下），由成像平面到图像平面是CCD在起作用。由于CCD像素的横纵往往不同，所以用 $s_x$ 表示CCD横向每毫米多少像素，即单位是像素/mm，用 $s_y$ 表示CCD纵向每毫米多少像素，即单位是像素/mm。则有

$$\tilde{u} = u \times s_x \\ \tilde{v} = v \times s_y$$
即 $$\tilde{u} = s_x \times f \times \frac{x}{z} = f_x \times \frac{x}{z}\\ \tilde{v} = s_y \times f \times \frac{y}{z} = f_y \times \frac{y}{z} \\ 之前的 f 的单位是mm，而这里的 f_x 和 f_y 单位是像素$$
则有 $$\tilde{m}=\tilde{P}M, 其中\tilde{m}=\begin{bmatrix} \tilde{u} \\ \tilde{v} \\1 \end{bmatrix}, \tilde{P}=\begin{bmatrix} f_x & 0 & 0 \\ 0 & f_y & 0 \\0 & 0 & 1\end{bmatrix}, M=\begin{bmatrix}x \\ y \\ z \end{bmatrix}$$

摄像机的内参——从摄像机坐标系到图像像素坐标系的变换

在上面我们考虑的是世界坐标系和摄像机坐标系完全重合以及图像物理坐标系和图像像素坐标系完全重合的情况，这种理想情况下，

$$\tilde{m}=\tilde{P}M, 其中\tilde{m}=\begin{bmatrix} \tilde{u} \\ \tilde{v} \\1 \end{bmatrix}, \tilde{P}=\begin{bmatrix} f_x & 0 & 0 \\ 0 & f_y & 0 \\0 & 0 & 1\end{bmatrix}, M=\begin{bmatrix}x \\ y \\ z \end{bmatrix}$$
其中 $\tilde{P}$ 矩阵就是摄像机内参数矩阵。

但是实际情况下，图像物理坐标系不和图像像素坐标系重合，且成像中心也不能在主点上（工艺原因）。此时理想情况下图像物理坐标系的原点，即主点和实际情况下图像物理坐标系的原点之间有偏移，实际情况下的图像物理坐标系的原点和实际情况下的图像像素坐标系的原点之间有偏移。这两个偏移算到一起有一个偏移量 $(c_x, c_y)$（单位已经是像素）。
考虑这个偏移量，有

$$\tilde{u} = f_x \times \frac{x}{z} + c_x\\ \tilde{v} = f_y \times \frac{y}{z} + c_y$$
摄像机内参数矩阵就变成了 $$\tilde{P}=\begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1\end{bmatrix}$$

又由于工艺，CCD不是一个严格的矩阵，可能是一个平行四边形，此时产生的图像像素坐标系的横纵轴就不是严格的垂直（假设它们之间的夹角为$\theta$）。这个暂时不考虑，这一部分好多东西没看懂。

不考虑CCD的倾斜的话，摄像机的内参由四个参数决定 $f_x, f_y, c_x, c_y$，这些参数可以通过摄像机标定获得。

摄像机的外参——从世界坐标系到摄像机坐标系的变换

世界坐标系与相机坐标系之间的关系可以用旋转矩阵和平移向量来描述。

假设世界坐标系中的点为 $M(x, y, z)$，对应的相机坐标系中的点为 $\tilde{M}(\tilde{x}, \tilde{y}, \tilde{z})$，那么存在着一个旋转矩阵 R 和一个平移向量 T ，使得

$$\tilde{M} = R M+ T，其中\tilde{M}=\begin{bmatrix} \tilde{x} \\ \tilde{y} \\ \tilde{z} \end{bmatrix}, M= \begin{bmatrix} x \\ y \\ z \end{bmatrix}$$

旋转矩阵

通常，任何维的旋转可以表述为坐标向量与合适尺寸的方阵的乘积。最终一个旋转等价于在另一个不同坐标系下对点位置的重新描述。坐标系旋转角度$\theta$则等同于将目标点围绕坐标原点反方向旋转同样的角度$\theta$。

下图显示用矩阵乘法对二维矩阵的描述。

把点旋转$\theta$（这里是绕$z$轴）等价于坐标轴反向旋转$\theta$。通过简单的三角计算，我们可以看出旋转如何改变点的坐标。

在三维空间中，旋转可以分解为绕各自坐标轴的二维旋转，其中旋转轴线的度量保持不变。如果依次绕$x,y和z$轴旋转角度$\psi, \varphi 和 \theta$，那么总的旋转矩阵$R$是三个矩阵$R_x(\psi),R_y(\varphi)和R_z(\theta)$的乘积，其中：

$$R_x(\psi)\begin{bmatrix} 1 & 0 & 0 \\ 0 & cos\psi & sin\psi \\ 0 & -sin\psi & cos\psi \end{bmatrix} \\R_y(\varphi) \begin{bmatrix} cos\varphi & 0 & -sin\varphi \\ 0 & 1 & 0 \\ sin\varphi & 0 & cos\varphi \end{bmatrix} \\R_z(\theta) \begin{bmatrix} cos\theta & sin\theta & 0 \\ -sin\theta & cos\theta & 0 \\ 0 & 0 & 1 \end{bmatrix}$$

因此$R=R_z(\theta)R_y(\varphi)R_x(\psi)$。旋转矩阵$R$的特性是它的逆阵就是它的转置阵（我们只需要转回来）。因此有$R^TR=R^RT=I$，其中$I$是对角元素为1，其余为0的单位矩阵。

平移向量

平移向量表示怎样将一个坐标系的原点移动到另一个坐标系的原点，或者说，平移向量是第一个坐标是原点与第二个坐标系原点的偏移量。

因此，从以目标中心为原点的坐标系移动到以摄像机光心为原点的另一个坐标系，相应的平移向量为 $T=摄像机原点-世界坐标系原点$。如旋转矩阵与平移向量标题下面的那个图片，点在世界坐标系中的坐标 $P_0$ 到在摄像机坐标系中的坐标 $P_c$：

$$P_c=R P_0+T$$

把世界坐标系中的 $M$ 变成四维向量 $M'(x, y, z, 1)$，则有

$$\tilde{M} = \begin{bmatrix} R & T \end{bmatrix} M'，其中\tilde{M}=\begin{bmatrix} \tilde{x} \\ \tilde{y} \\ \tilde{z} \end{bmatrix}, M'= \begin{bmatrix} x \\ y \\ z \\ 1\end{bmatrix}$$
矩阵 $\begin{bmatrix} R & T \end{bmatrix}$ 被称为摄像机的外参数矩阵。

透镜畸变

采用理想针孔，我们有了一个对视觉中的三维几何有用的模型。但由于只有少量的光线通过针孔，导致了实际情况下因曝光不足使得图像生成得很慢。对要快速生成图像的摄像机而言，必须利用大面积且弯曲的透镜，让足够多的光线能够收敛聚焦到投影点上。为了实现该目的，我们使用透镜。透镜可以聚焦足够多的光线到某个点上，使得图像的生成更加迅速。其代价就是引入了畸变。
- 曝光：不同的明暗光线使人，景，物的影像在银盐胶片上曝光生成潜影或使得CCD得到清晰的图像。

理论上讲是可能定义一种透镜而不引入任何畸变的。然而事实上很难制造出一个数学上理想的透镜，并且从机械方面也很难把透镜和成像仪保持平行。这里我们主要讨论两种主要的透镜畸变并且为它们建模。

在图像系统中还有许多其他类型的畸变，不过都没有径向畸变和切向畸变显著。因此OpenCV不打算处理它们。

径向畸变——来自于透镜性质

实际摄像机的透镜总是在成像仪的边缘产生显著的畸变（就是一个正方形物体经过镜头在图像平面上显示的是一个边呈弧形的四边形）。对某些透镜，光线在远离透镜中心的地方比靠近中心的地方更加弯曲。对常用的普通透镜来说，这种现象更加严重。桶形畸变在便宜的网络摄像机中非常厉害，但在高端摄像机中不明显，因为这些透镜系统做了很多消除径向畸变的工作。

对径向畸变，成像仪中心（光学中心）的畸变为0，随着向边缘移动，畸变越来越严重。实际情况中，这种畸变比较小，而且可以用$r=0$位置周围的泰勒级数展开的前几项来定量描述。对便宜的网络摄像机，我们通常使用前两项，其中第一项通常为$k_1$，而第二项为$k_2$。对畸变很大的摄像机，比如鱼眼透镜，我们可以使用第三径向畸变项$k_3$。通常，成像仪某点的径向位置按下式调节：

$$x_{corrected}=x(1+k_1r^2+k_2r^4+k_3r^6) \\ y_{corrected}=y(1+k_1r^2+k_2r^4+k_3r^6)$$ 这里 $(x,y)$是畸变点在成像仪上的原始位置， $(x_{corrected},y_{corrected})$是校正后的新位置。

切向畸变——来自于整个摄像机的组装过程

这种畸变是由于透镜制造上的缺陷使得透镜本身与图像平面不平行而产生的（就相当于物体经过透镜的光线不是垂直射到图像平面上的，而是以一定的角度，理想状态下应该是垂直射到图像平面上的）。

切向畸变可以用两个额外的参数$p_1$和$p_2$来描述，如下：

$$x_{corrected}=x+[2p_1y+p_2(r^2+2x^2)] \\ y_{corrected}=y+[p_1(r^2+2y^2)+2p_2x]$$

因此总共有五个我们所需要的畸变参数。由于在OpenCV程序中五个参数都是必需的，所以它们被放置到一个畸变向量中，这是一个$5 \times 1$的矩阵，按顺序依次包含$k_1$，$k_2$，$p_1$，$p_2$，$k_3$