视觉SLAM十四讲 第5讲 相机与图像

一、相机模型

针孔相机模型

其中$O$为相机的光心，$P$为现实世界空间中的一点，物理成像平面上的点为$P^{\prime }$，$P=[X,Y,Z{]}^T,p^{\prime }=[X^{\prime },Y^{\prime },Z^{\prime }{]}^T$，焦距为$f$。
根据相似三角形:
$$\frac{Z}{f}=-\frac{X}{X^{\prime }}=-\frac{Y}{Y^{\prime }}$$
为了消除负号，将成像平面反对称到光心前方，就可以得到:
$$\frac{Z}{f}=\frac{X}{X^{\prime }}=\frac{Y}{Y^{\prime }}$$
从而
$$\begin{array}{rl}{X}^{\prime }& =f\frac{X}{Z}\\ Y^{\prime }& =f\frac{Y}{Z}\end{array}$$
上式描述了点$P$与其像的空间关系，但在相机中，我们最终获得的是一个一个的像素，$P$的像$P^{\prime }$的坐标与像素坐标之间还存在者一定的关系。
像素坐标系通常定义为：原点$o^{\prime }$位于图像的左上角，$u$轴与$x$轴平行，$v$轴与$y$轴平行，故存在关系:
$$\{\begin{array}{rl}u& =\alpha X^{\prime }+c_x\\ v& =\beta Y^{\prime }+c_y\end{array}$$

$$\{\begin{array}{rl}u& =\alpha f\frac{X}{Z}+c_x\\ v& =\beta f\frac{Y}{Z}+c_y\end{array}$$
令$\alpha f=f_x,\beta f=f_y$，有
$$\{\begin{array}{rl}u& =f_x\frac{X}{Z}+c_x\\ v& =f_y\frac{Y}{Z}+c_y\end{array}$$
反应出像素平面与像平面之间的缩放和平移的关系。
记成矩阵形式:
$$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z}\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)\triangleq \frac{1}{Z}KP$$
这个矩阵$K$称为相机的内参数矩阵(Camera Intrinsics)。
同样的，上面的$P$是在相机坐标系下的坐标，我们通常使用的是应该为被观测物体的世界坐标$P_w$，因此，这两者之间还要进行转换，我们已知相机的旋转矩阵$R$和平移向量$t$，那么有:
$$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z}K(R{P}_w+t)=\frac{1}{Z}KT{P}_w$$
对于上式，$T{P}_w$的结果应为一个$4\times 1$的向量，表示相机坐标系下点$P$的坐标，而$K$为$3\times 3$，因此这时需要把$T{P}_w$的前三维提出来与$K$相乘，而又与$\frac{1}{Z}$相乘，使得其再一次进行了归一化，得到如下的形式:
$$P_c=\left[\begin{array}{c}\frac{X}{Z}\\ \frac{Y}{Z}\\ 1\end{array}\right]$$
称之为归一化坐标，该平面称之为归一化平面，归一化坐标经过内参之后就得到了像素坐标:
$$P_{uv}=K{P}_c$$
其中，相机的位姿$R,t$称之为相机的外参数(Camera Extrinsics)

畸变

在实际中，为了获得更好的成像效果，会在相机前加装透镜，这会带来一定的影响，畸变就是其中一种。畸变可分为径向畸变和切向畸变。径向畸变通常由透镜形状引起，而切向畸变通常因为在相机组装过程中由于不能使透镜与成像面严格对其产生的。对于畸变，影响到的是上述过程的$P_c$，且有如下关系:
径向畸变:
$$\begin{gathered} x_{distorted}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6) \\ {y}_{distorted}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6) \end{gathered}$$
切向畸变:
$$\begin{gathered} x_{distorted}=x+2p_{1}xy+p_2(r^2+2x^2) \\ {y}_{distorted}=y+p_1(r^2+2y^2)+2p_{2}xy \end{gathered}$$
其中$[x,y{]}^T$为归一化平面的坐标，$[x_{distorted},y_{distorted}{]}^T$为畸变后的坐标点，可据此对归一化平面上的点进行纠正，以获取原始图像的坐标。

双目相机模型

在单目相机模型中，仅根据一个像素，是不能确定空间对应该点的深度的，因为在光心与归一化平面像点的连线上的所有点，对应的都是同一个像素。而双目相机可以解决这一问题。

双目相机的原理如图所示:

两个相机光圈中心之间的距离称为双目相机的基线。
若同一个空间点$P$分别在两个相机上成像$P_L$和$P_R$，则根据几何关系:
$$\frac{z-f}{z}=\frac{b-u_L+u_R}{b}$$
$$z=\frac{fb}{d},d=u_L-u_R$$
这里的$d$称为视差，因为视差最小为一个像素，因此双目的深度存在一个最大值，由$fb$决定，说明基线越长，双目能测到的距离就越远。
而在实际测量中，我们需要知道左眼图像中的某个像素出现在右眼图像的哪一个位置，也就是确保计算深度时，左右眼计算的是同一个点$p$。这往往很难保证，因此给双目深度估计带来了一定的问题。

RGB-D相机模型

RGB-D相机按照工作原理可以分为红外结构光式(Structured Light),飞行时间法(Time-of-flight ToF)式。RGB-D相机像探测目标发出一束光线，在结构光原理中，相机根据返回的结构光图案，计算物体与自身的距离。而在TOF原理中，相机向目标发射脉冲光，然后根据发射到返回之间光束的飞行时间，确定物体与自身的距离。

往期链接
视觉SLAM十四讲 第4讲李群与李代数
视觉SLAM十四讲 第3讲 三维空间刚体运动
视觉SLAM十四讲 第2讲 初识slam