相机模型、参数和各个坐标系(世界坐标系、相机坐标系、归一化坐标系、图像坐标系、像素坐标系之间变换）

说明

这篇博文介绍了描述相机的经典模型——针孔模型，以及镜头引起的畸变模型；以此给出了相机内参和外参的定义，进而介绍了三维重建中很总要的坐标系转换，为后面的重建奠定基础。写这篇博文可太费劲了！又要画图又要手打公式（还是用LaTeX语法 😅）

一、相机模型

​ 相机成像，即将三维世界中的坐标点（单位：$m$）映射到二维图像平面（单位：$pixel$）。这个过程可以用一个几何模型进行描述，其中最简单且有效的是针孔模型。同时，由于透镜的存在和相机制作工艺造成的误差会使得相机的成像产生畸变。

1、针孔模型

​ 图一是针孔成像模型的几何模型，相机坐标系为$O-x-y-z$，设现实中的一点$P$的坐标为$[X,Y,Z{]}^T$，经过小孔O投影到相机物理成像平面$P^{{}^{\prime }}$点，其坐标为$[X^{{}^{\prime }},Y^{{}^{\prime }},f{]}^T$，$f$为相机焦距，根据相似三角形原理可以得到 $\frac{Z}{f}=-\frac{X}{X^{{}^{\prime }}}=-\frac{Y}{Y^{{}^{\prime }}}$，其中负号表示倒像。

实际成像平面就应该是倒向，但是一般的数码相机呈现的图片都是正向的，这是因为数码相机 呈现的图像是经过翻转的。

那么我们也可以简化模型，将成像平面前移$2f$，如图十所示这样就可以去掉负号得到： $\frac{Z}{f}=\frac{X}{X^{{}^{\prime }}}=\frac{Y}{Y^{{}^{\prime }}}$

整理得：$X^{{}^{\prime }}=f\frac{X}{Z},Y^{{}^{\prime }}=f\frac{Y}{Z}$

图一

​ 图二在二维坐标系下解释了针孔模型的过程，其中归一化成像平面是指距离原点$O$的距离为单位1的坐标。设$P_s$为$P$点在归一化成像平面上的投影点，其坐标为$[X_s,Y_s,1{]}^T$，有：$\frac{Z}{1}=\frac{X}{X_s}=\frac{Y}{Y_s}$

整理得：$X_s=\frac{X}{Z},Y_s=\frac{Y}{Z}$

图二

​ 我们知道，相机拍摄的数字图像在计算机中都是以二维矩阵储存的，它的坐标以像素为单位，而且坐标原点一般在图像的左上角，而实际物理图像的坐标原点在图像中心，坐标单位为米。其关系如图三所示，$O_{pixel}-u-v$为像素坐标系，$O_{image}-x_{image}-y_{image}$为图像坐标系。

​ 假设$x$轴方向有$1(m)=\alpha (pixel)$，$y$轴方向有$1(m)=\beta (pixel)$那么$P^{{}^{\prime }}$点的像素坐标$(u,v)$有下面的关系：

$\{\begin{array}{l}u=\alpha X^{{}^{\prime }}=\alpha f\frac{X}{Z},\\ v=\beta X^{{}^{\prime }}=\beta f\frac{Y}{Z}.\end{array}$令$\{\begin{array}{l}{f}_x=\alpha f,\\ f_y=\beta f.\end{array}$则写成矩阵形式有：$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\frac{1}{Z}\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]$

其中$\frac{1}{Z}\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{X}_s\\ Y_s\\ 1\end{array}\right]=P_s$，令$K=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$，那么K为相机的内参矩阵，它为归一化坐标与像素坐标的隐射关系：$P_{pixel}=K{P}_s$

图三

2、畸变

​ 由于相机镜头中透镜的存在，使得成像过程中光线的传播会产生新的影响：一、透镜形状对光线传播的影响，称为径向畸变，二、透镜位置对光线传播的影响，成为切向畸变。用极坐标的表示方法$[r,\theta {]}^T$能更好的理解相机畸变模型，其中，$r$表示图像中的一点到原点的距离，$\theta$表示与过原点的水平线之间的夹角。径向畸变主要和$r$有关，切向畸变主要和$\theta$有关。

（1）径向畸变

​ 假设在没有透镜的针孔模型中，直线投影到像素平面还是一条直线。然而透镜的存在使得直线投影成曲线。穿过图像中心和光轴有交点的直线能保持形状不变，而越靠近图像边缘畸变越明显，由于透镜往往是中心对称的，这使得不规则的畸变通常径向对称。畸变类型主要有：桶形失真和枕形失真，如图四所示。

图四

1）桶形畸变

​ 桶形畸变是由于图像的放大率随着与光轴之间的距离增加而减小，因此桶形畸变也称为负径向畸变。假设$(x_{distorted},y_{distorted})$为畸变后的坐标,$(x,y)$为未畸变的坐标，它们之间的关系有：$\{\begin{array}{l}{x}_{distorted}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6),\\ y_{distorted}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6).\end{array}$

​ 图五给出畸变示意图，其中$A^{{}^{\prime }},B^{{}^{\prime }},C^{{}^{\prime }}$为桶形畸变图像的三个点，$o(x_0,y_0)$为图像原点，$r_0,r_1$为校正后直线上的$A,B,C$点到原点的距离。假设$K=k_1{r}^2+k_2{r}^4+k_3{r}^6$，那么根据下图所示有$K<0$。

图五

2）枕形畸变

​ 枕形畸变是由于图像的放大率随着与光轴之间的距离增加而增加，因此枕形畸变也称为正径向畸变。假设$(x_{distorted},y_{distorted})$为畸变后的坐标,$(x,y)$为未畸变的坐标，它们之间的关系有： $\{\begin{array}{l}{x}_{distorted}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6),\\ y_{distorted}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6).\end{array}$

​ 图六给出畸变示意图，其中$A_{{}^{\prime }},B_{{}^{\prime }},C_{{}^{\prime }}$为枕形畸变图像的三个点，$o(x_0,y_0)$为图像原点，$r_0,r_1$为$A,B,C$点到原点的距离。假设$K=k_1{r}^2+k_2{r}^4+k_3{r}^6$，那么根据下图所示有$K>0$。

图六

​ 对于径向畸变而言，一般它的系数只取$k_1,k_2$，对于畸变很大的镜头（如鱼眼镜头），才增加$k_3$。

（2）切向畸变

​ 在相机组装过程中由于不能使透镜和成像平面严格平行而引起的畸变成为切向畸变，切向畸变主要与$\theta$有关，其模型如图七所示。

​ 描述径向畸变的数学模型为：$\{\begin{array}{l}{x}_{distorted}=x+2p_{1}xy+p_2(r^2+2x^2),\\ y_{distorted}=y+p_1(r^2+2y^2)+2p_{2}xy.\end{array}$

图七

图八

​ 径向畸变示意图如图八所示，看起来有点倾斜的样子。

（3）畸变小结

​ 从径向畸变和切向畸变的数学模型中，我们可以得到畸变在归一化平面上的一般模型：

$\{\begin{array}{l}{x}_{distorted}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_{1}xy+p_2(r^2+2x^2),\\ y_{distorted}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_1(r^2+2y^2)+2p_{2}xy.\end{array}$

其中需要标定5个参数：$k_1,k_2,k_3,p1,p_2$，这五个参数不一定全部使用，可以根据实际情况合理选择，如只选择$k_1,k_2,p1$作为畸变模型。

​ 畸变校正一般有两种方法：1、整个图像去畸变处理后再讨论空间坐标；2、逐点去畸变处理然后逐点讨论空间坐标。一般采用第一种方法。

​ 考虑畸变后的像素坐标为：$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_{distorted}\\ y_{distorted}\\ 1\end{array}\right]$

二、各坐标系之间的转换

​ 在相机的成像模型和三维重建原理中都存在坐标系的转换，我们可以从上面的相机模型中深刻的体会到这一点。坐标转换涉及的坐标系主要有：世界坐标系、相机坐标系、归一化坐标系、图像坐标系、像素坐标系这五大坐标系。

1、各坐标系的定义

图九

图十

• 世界坐标系(world coordinate system)：用户定义的三维世界的坐标系，坐标原点由用户自定义，为了描述目标物在真实世界里的位置而被引入。单位为$m$。如图九中$O_w-x_w-y_w-z_w$

• 相机坐标系(camera coordinate system)：在相机上建立的坐标系，以光心为坐标原点，光轴为$z$轴为了从相机的角度描述物体位置而定义，作为沟通世界坐标系和图像/像素坐标系的中间一环。单位为$m$。如图九中$O_c-x_c-y_c-z_c$

• 归一化坐标系(scaled coordinate system)：在$z$轴正半轴上到原点距离为1，为了消去空间上某一点的深度信息，作为沟通世界坐标系和图像/像素坐标系的中间一环。单位为1。如图十中$O_s-x_s-y_s$

• 图像坐标系(image coordinate system)：为了描述成像过程中物体从相机坐标系到图像坐标系的投影透射关系而引入，方便进一步得到像素坐标系下的坐标。 单位为$m$。如图九中$O_{image}-x_{image}-y_{image}$

• 像素坐标系(pixel coordinate system)：为了描述物体成像后的像点在数字图像上（相片）的坐标而引入，是我们真正从相机内读取到的信息所在的坐标系。单位为$pixel$。如图十中$O_{pixel}-u-v$

2、各坐标系之间的相互转换模型

​ 按照下面的流程进行转换：

​ 假设真实世界中的一点$P$在各坐标系下的坐标分别为$P_w,P_c,P_s,P_i,P_p$，其中：

$P_w=\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]$，$P_c=\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]$，$P_s=\left[\begin{array}{c}{X}_s\\ Y_s\\ 1\end{array}\right]$，$P_i=\left[\begin{array}{c}{X}_i\\ Y_i\\ 1\end{array}\right]$，$P_p=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$。

整体公式

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\alpha & 0& c_x\\ 0& \beta & c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}\alpha & 0& c_x\\ 0& \beta & c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\frac{1}{Z_c}\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{ccc}\alpha & 0& c_x\\ 0& \beta & c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\frac{1}{Z_c}\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

（1）世界坐标系–>相机坐标系

刚体变换(regidbody motion)：三维空间中，当物体不发生形变时，对一个几何物体作旋转 $R$， 平移 $t$ 的运动，称之为刚体变换。世界坐标系到相机坐标系的变化就是刚体变换，又因为$R$和$t$与相机无关，所有又称其为相机外参。
$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$，$T=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$

（2）相机坐标系–>归一化坐标系

$P_i=\left[\begin{array}{c}{X}_i\\ Y_i\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=\frac{1}{Z_c}{P}_c$

（3）归一化坐标系–>像素坐标系

$K=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}\alpha & 0& c_x\\ 0& \beta & c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]$

$P_p=\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\frac{1}{Z_c}\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=K{P}_i$

三、相机需要标定的参数

综上所述，相机需要标定内参矩阵$K$，外参矩阵$T$，以及畸变参数$k_1,k_2,k_3,p_1,p_2$。

​在这里补充一下：

在一些文献中相机内参$K=\left[\begin{array}{ccc}{f}_x& \gamma & c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}\alpha & \gamma & c_x\\ 0& \beta & c_y\\ 0& 0& 1\end{array}\right]$

其中$\gamma$表示轴倾斜程度的参数，默认为0。所谓轴倾斜程度是指成像平面的x轴和y轴的的倾斜程度，如果$\gamma$不等于0，意味着x轴和y轴不垂直，那么成像平面就是平行四边形，那么得到的像也会扭曲。

这里给出相机内参外参变化时像随之变化的demo。感兴趣的同学可以进去看一下，会有一个比较直观的感受。

四、参考资料

视觉SLAM十四讲_哔哩哔哩

视觉SLAM十四讲：从理论到实践 ——高翔等

CSDN相关博文
Opencv官方文档