相机模型、参数和各个坐标系(世界坐标系、相机坐标系、归一化坐标系、图像坐标系、像素坐标系之间变换）

说明

这篇博文介绍了描述相机的经典模型——针孔模型，以及镜头引起的畸变模型；以此给出了相机内参和外参的定义，进而介绍了三维重建中很总要的坐标系转换，为后面的重建奠定基础。写这篇博文可太费劲了！又要画图又要手打公式（还是用LaTeX语法 😅）

一、相机模型

​ 相机成像，即将三维世界中的坐标点（单位：$m$）映射到二维图像平面（单位：$pixel$）。这个过程可以用一个几何模型进行描述，其中最简单且有效的是针孔模型。同时，由于透镜的存在和相机制作工艺造成的误差会使得相机的成像产生畸变。

1、针孔模型

​ 图一是针孔成像模型的几何模型，相机坐标系为$O-x-y-z$，设现实中的一点$P$的坐标为$[X,Y,Z{]}^T$，经过小孔O投影到相机物理成像平面$P^{{}^{\prime }}$点，其坐标为$[X^{{}^{\prime }},Y^{{}^{\prime }},f{]}^T$，$f$为相机焦距，根据相似三角形原理可以得到 $\frac{Z}{f}=-\frac{X}{X^{{}^{\prime }}}=-\frac{Y}{Y^{{}^{\prime }}}$，其中负号表示倒像。

实际成像平面就应该是倒向，但是一般的数码相机呈现的图片都是正向的，这是因为数码相机 呈现的图像是经过翻转的。

那么我们也可以简化模型，将成像平面前移$2f$，如图十所示这样就可以去掉负号得到： $\frac{Z}{f}=\frac{X}{X^{{}^{\prime }}}=\frac{Y}{Y^{{}^{\prime }}}$

整理得：$X^{{}^{\prime }}=f\frac{X}{Z},Y^{{}^{\prime }}=f\frac{Y}{Z}$

图一

​ 图二在二维坐标系下解释了针孔模型的过程，其中归一化成像平面是指距离原点$O$的距离为单位1的坐标。设$P_s$为$P$点在归一化成像平面上的投影点，其坐标为$[X_s,Y_s,1{]}^T$，有：$\frac{Z}{1}=\frac{X}{X_s}=\frac{Y}{Y_s}$

整理得：$X_s=\frac{X}{Z},Y_s=\frac{Y}{Z}$

图二

​ 我们知道，相机拍摄的数字图像在计算机中都是以二维矩阵储存的，它的坐标以像素为单位，而且坐标原点一般在图像的左上角，而实际物理图像的坐标原点在图像中心，坐标单位为米。其关系如图三所示，$O_{pixel}-u-v$为像素坐标系，$O_{image}-x_{image}-y_{image}$为图像坐标系。

​ 假设$x$轴方向有$1(m)=\alpha (pixel)$，$y$轴方向有$1(m)=\beta (pixel)$那么$P^{{}^{\prime }}$点的像素坐标$(u,v)$有下面的关系：

$\{\begin{array}{l}u=\alpha X^{{}^{\prime }}=\alpha f\frac{X}{Z},\\ v=\beta X^{{}^{\prime }}=\beta f\frac{Y}{Z}.\end{array}$令$\{\begin{array}{l}{f}_x=\alpha f,\\ f_y=\beta f.\end{array}$则写成矩阵形式有：$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\frac{1}{Z}\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]$

其中 1 Z [ X Y Z ] = [ X s Y s 1 ] = P s \frac{1}{Z}\begin{bmatrix}X\\Y\\ Z\\\end{bmatrix}=\begin{bmatrix}X_{s} \\ Y_{s} \\ 1 \end{bmatrix}=P_{s} Z1​⎣⎡​XYZ​⎦⎤​=