相机与畸变模型

相机能将三维世界里的坐标点映射到二维图像平面，这样的一个过程能够用数学模型进行描述。这类的描述模型有很多，最经典的就是针孔模型。同时，由于相机镜头上的透镜的存在，使得光线投影到成像平面的过程会产生畸变。因此，常用针孔和畸变两个模型来描述整个映射的过程。

光圈：光圈的基本作用是调节相机的进光量，光圈越大进光面积就会越大；反之，光圈越小，图像就越暗。

景深：景深指的是焦点前后景物清晰的范围，般影响景深主要有三个要素，分别是摄距（被摄对象与镜头的距离）、镜头焦距、光圈。光圈越大，景深越小；光圈越小，景深越大。距离越近，景深越小；距离越远，景深越大。

视野：相机可以接收影像的角度范围，影响因有成像平面的大小、焦距。焦距越大视野越小。

一、针孔相机模型

蜡烛投影实验：点燃的蜡烛透过小孔投影到后方的平面上，形成一个倒立的蜡烛图像，其原理如下图所示。

假设$O-x-y-z$为相机坐标系（$z$指向相机前方，$x$向右，$y$向下，$O$为相机的光心或指模型中的针孔）。

则现实空间一点$P$，经过小孔$O$，落在成像平面$O^{{}^{\prime }}-x^{{}^{\prime }}-y^{{}^{\prime }}$上，成像点为$P^{{}^{\prime }}$。

我们设$P$的坐标为$[X,Y,Z]$，$P^{{}^{\prime }}$为$[X^{{}^{\prime }},Y^{{}^{\prime }},Z^{{}^{\prime }}]$，并且成像平面到小孔$O$的距离为$f$（焦距），那么，根据三角形相似关系，有
$$\frac{Z}{f}=-\frac{X}{X^{{}^{\prime }}}=-\frac{Y}{Y^{{}^{\prime }}}$$
其中，负号表示成的像是倒立的。不过，实际相机得到的图像并不是倒像，为了让模型更符合实际，我们可以等价把成像平面放到相机的前方，并去掉公式中的负号，更简洁：
$$\frac{Z}{f}=\frac{X}{X^{{}^{\prime }}}=\frac{Y}{Y^{{}^{\prime }}}$$

整理得到：
$$\{\begin{array}{r}{X}^{{}^{\prime }}=f\frac{X}{Z}\\ Y^{{}^{\prime }}=f\frac{Y}{Z}\end{array}$$

1.1 相机内参

像素坐标系：原点$o^{{}^{\prime }}$位于图像的左上角，$u$轴向右与$x$轴平行，$v$轴向下与$y$轴平行。

像素坐标系与成像平面之间，相差了一个缩放和一个原点的平移。

我们设像素坐标在$u$轴上缩放$\alpha$倍，在$v$轴上缩放了$\beta$倍。同时，原点平移了$[c_x,c_y{]}^T$。那么，$P^{{}^{\prime }}$的坐标与像素坐标$[u,v{]}^T$的关系为：
$$\{\begin{array}{r}u=\alpha X^{{}^{\prime }}+c_x\\ v=\beta Y^{{}^{\prime }}+c_y\end{array}$$
代入公式并把$\alpha f$合并成$f_x$，把$\beta f$合并为$f_y$，得
$$\{\begin{array}{r}u=f_x\frac{X}{Z}+c_x\\ v=f_y\frac{Y}{Z}+c_y\end{array}$$
其中，$f$的单位为米，$\alpha ,\beta$的单位为像素/米，所以$f_x,f_y$和$c_x,c_y$的单位为像素。写成矩阵的形式为：
$$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z}\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\frac{1}{Z}KP$$
将$Z$移到等式左边得：
$$Z\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=KP$$
式中，我们把中间量组成的矩阵成为相机的内参数（Camera Intrinsics）矩阵K。一般的，相机的内参在出厂后就是固定的，不会随使用过程发生变化。

相机的内参可以通过咨询生产厂家得到，或者通过标定的方式得到相机内参。

1.2 相机外参

除了内参，还有相对的外参。由于实际中相机是运动的，所以$P$的相机坐标应该是有世界坐标（$P_w$）根据相机的当前位姿转换到相机坐标系下得到的。相机的位姿由它的旋转矩阵$R$和平移向量$t$来描述。那么有：
$$Z{P}_{uv}=Z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K(R{P}_w+t)=KT{P}_w$$
其中相机的位姿$R,t$成为相机的外参（Camera Extrinsics）。

需要注意的是，右式中又经过一次齐次坐标到非齐次坐标的转换。
$$Z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right)\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$$

1.3 归一化处理

我们可以将世界坐标系上的一点，先转换到相机坐标系中，再除以距离成像平面的距离$Z$，这就相当于进行了一次归一化处理，得到点$P$在相机归一化平面上的投影：
$$(R{P}_w+t)=[X,Y,Z{]}^T\to [X/Z,Y/Z,1{]}^T$$

二、畸变模型

由于相机前方的透镜，会对光的传播产生影响，产生畸变。

引起畸变的主要因素有两种：

• 透镜的形状：径向畸变；

• 透镜与成像平面不平行：切向畸变。

归一化平面上的任意一点$p$，它的坐标为$[x,y{]}^T$，可以用极坐标的形式$[r,\theta {]}^T$表示，其中$r$表示点$p$与坐标系原点之间的距离，$\theta$表示与水平轴的夹角。

径向畸变可以看作坐标点沿着长度方向发生了变化，也就是其距离远点的长度发生了变化。

切向畸变可以看作坐标点沿着切线方向发生了变化，也就是水平夹角发生了变化。

通常假设这些畸变呈多项式关系，即：

径向畸变：
$$\{\begin{array}{r}{x}_{distorted}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\\ y_{distorted}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\end{array}$$
切向畸变：
$$\{\begin{array}{r}{x}_{distorted}=x+2p_{1}xy+p_2(r^2+2x^2)\\ y_{distorted}=y+p_1(r^2+2y^2)+2p_{2}xy\end{array}$$
其中，$p1,p2$为纠正参数。两式联立，得到点在图像上的正确位置为：
$$\{\begin{array}{r}{x}_{distorted}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_{1}xy+p_2(r^2+2x^2)\\ y_{distorted}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_1(r^2+2y^2)+2p_{2}xy\end{array}$$
即畸变模型为：
$$\{\begin{array}{r}u=f_x{x}_{distorted}+c_x\\ v=f_y{y}_{distorted}+c_y\end{array}$$