视觉SLAM十四讲第五讲笔记

视觉SLAM十四讲第五讲笔记

这一讲主要说的是相机与图像。了解以下相机内参，空间点到相机成像平面的过程。

一、相机模型

相机模型包括

1. 针孔相机模型
2. 双目相机模型
3. RGB-D相机模型

1. 针孔相机模型

假设现实世界空间点$P$, 经过小孔$O$投影之后，落在物理成像平面$O^{\prime }-x^{\prime }-y^{\prime }$上，成像点为$P^{\prime }$。设$P$的坐标为$[X,Y,Z{]}^T$， $P^{\prime }$为$X^{\prime },Y^{\prime },Z^{\prime }$，并且焦距为$f$。那么根据三角形相似关系:

$$\frac{Z}{f}=-\frac{X}{X^{\prime }}=-\frac{Y}{Y^{\prime }}$$

负号表示成的像是倒立的。为了简化模型，我们把可以成像平面对称到相机前方，和三维空间点一起放在摄像机坐标系的同一侧。这样做可以把公式中的负号去掉，使式子更加简洁:
$$\frac{Z}{f}=\frac{X}{X^{\prime }}=\frac{Y}{Y^{\prime }}$$

整理可得:
$$\begin{gathered} X^{\prime }=f\frac{X}{Z} \\ {Y}^{\prime }=f\frac{Y}{Z} \end{gathered}$$

上面的式子描述了世界空间点$P$和它成像的空间关系。我们设在物理成像平面上固定着一个像素平面$O-u-v$。 我们在像素平面得到了$P^{\prime }$的像素坐标:$[u,v{]}^T$。

像素坐标的原点通常定义在图像的左上角，$u$轴向右与$x$轴平行，$v$轴向下与$y$轴平行。像素坐标系与成像平面之间，相差了一个缩放和一个原点的平移。我们设像素坐标在$u$轴上缩放了$\alpha$倍，在$v$上缩放了 $\beta$倍。同时，原点平移了$[c_x,c_y{]}^T$ 。那么，$P^{\prime }$的坐标与像素坐标$[u,v{]}^T$的关系为:
$$\{\begin{array}{c}u=\alpha X^{\prime }+c_x\\ v=\beta Y^{\prime }+c_y\end{array}$$

把上面整理的式子代入，并將$\alpha f$合并为$f_x$， 把$\beta f$合并成$f_y$，得到:
$$\{\begin{array}{c}u=f_x\frac{X}{Z}+c_x\\ v=f_y\frac{Y}{Z}+c_y\end{array}$$

其中$f$的单位是米，$\alpha .\beta$的单位是像素每米，所以$f_x,f_y$的单位是像素。写成矩阵的形式就是熟悉的内参矩阵了:
$$Z\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{c}{f}_{x}0c_x\\ 0f_y{c}_y\\ 001\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)\triangleq KP$$

由于相机在运动，所以$P$的相机坐标应该是它的世界坐标(记为$P_w$)，根据相机的当前位姿，变换到相机坐标系下的结果外参矩阵。

$$Z{P}_{uv}=Z\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=K(R{P}_w+t)=KT{P}_w$$

对于$T{P}_w$这个三维向量，我们还可以按照齐次坐标的方式，把最后一维进行归一化处理 ，得到了$P$在相机归一化平面上的投影。
$$\widetilde{P_c}=\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=(T{P}_w{)}_{(1:3)},P_c=[\begin{array}{c}X/Z\\ Y/Z\\ 1\end{array}]$$
这时 $P_c$可以看成一个二维的齐次坐标， 称为归一化坐标。它位于相机前方$z=1$处的平面上。该平面称为归一化平面。

2、双目相机模型

针孔相机模型描述了单个相机的成像模型。然而，仅根据一个像素，我们是无法确定这个空间点的具体位置的。这是因为，从相机光心到归一化平面连线上的所有点，都可以投影至该像素上。而双目成像的原理如下:

两个相机水平放置，光圈中心都位于$x$轴上，它们的距离称为双目相机的基线。如果一个空间点$p$，它在左眼和右眼各成一像，记作$P_L,P_R$。由于相机基线的存在，这两个成像位置是不同的。理想情况下，由于左右相机只有在$x$轴上有位移，因此$P$的像也只在$x$轴(对应图像的$u$轴)上有差异。我们记它在左侧的坐标为$u_L$，右侧坐标为$u_R$。根据三角形$P-P_L-P_R$和$P-O_L-O_R$的相似关系:
$$\frac{z-f}{z}=\frac{b-u_L+u_R}{b}$$
整理可得:

$$z=\frac{fb}{d},d=u_L-u_R$$
这里$d$为左右图的横坐标之差，称为视差(Disparity)。所以深度学习中的深度估计一般都是估计视差图。
我们看到，当基线越长时，双目最大能测到的距离就会变远；反之，小型双目器件则只能测量很近的距离。

3. RGB-D 相机模型

主要分为两大类:

1. 通过红外结构光来测量像素距离的。 Kinect 1代，Intel Realsense等。
2. 通过飞行时间法(ToF)。Kinect 2代等。

用红外进行深度值测量的 RGB-D 相机，容易受到日光或其他传感器发射的红外光干扰，因此不能在室外使用，同时使用多个时也会相互干扰。对于透射材质的物体，因为接受不到反射光，所以无法测量这些点的位置。