视觉SLAM_07_相机模型

说明：转发请注明作者和出处；以下文章内容为精简版，详细版以pdf格式的幻灯片形式呈现，请见链接：视觉SLAM_07_相机模型.pdf

0.目录

1.针孔相机模型

图1-1 针孔相机模型（摘自参考文献）

  $O$为摄像机光心，也是针孔模型中的针孔。现实世界的空间点$P=[X,Y,Z{]}^T$，经过小孔$O$投影后，落在物理成像平面$O^{{}^{\prime }}-x^{{}^{\prime }}-y^{{}^{\prime }}$上，成像点为$P^{{}^{\prime }}=[X^{{}^{\prime }},Y^{{}^{\prime }},Z^{{}^{\prime }}{]}^T$，物理成像平面到小孔的距离为焦距$f$。
$$\{\begin{array}{ll}{X}^{{}^{\prime }}=f\frac{X}{Z}& \\ Y^{{}^{\prime }}=f\frac{Y}{Z}& \end{array}\text{\hspace{1em}(1)}$$

图1-2 针孔相机模型（摘自参考文献）

像素坐标系通常的定义方式是：原点$o^{{}^{\prime }}$位于图像的左上角，$u$轴向右与$x$轴平行，$v$轴向下与$y$轴平行。像素坐标系和成像平面之间，相差了一个缩放和一个原点平移。设像素坐标在$u$轴上缩放了$\alpha$倍，在$v$轴上缩放了$\beta$倍，同时，原点平移了$[c_x,c_y{]}^T$，那么：
$$\{\begin{array}{ll}u=\alpha X^{{}^{\prime }}+c_x& \\ v=\beta Y^{{}^{\prime }}+c_y& \end{array}\text{\hspace{1em}(2)}$$ 即： $$\{\begin{array}{ll}u=f_x\frac{X}{Z}+c_x& \\ v=f_y\frac{Y}{Z}+c_y& \end{array}\text{\hspace{1em}(3)}$$写成矩阵形式：
$$Z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]\stackrel{def}{=}\mathbf{K}\mathbf{P}\text{\hspace{1em}(4)}$$矩阵$\mathbf{K}$为相机内参数，相机内参出厂之后是固定的，不会在使用过程中发生变化。
  公式(4)中$P$是在相机坐标系下的坐标，变换到世界坐标系下(记为${\mathbf{P}}_w$)：
$$Z{\mathbf{P}}_{uv}=Z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathbf{K}(\mathbf{R}{\mathbf{P}}_w+\mathbf{t})=\mathbf{K}\mathbf{T}{\mathbf{P}}_w\text{\hspace{1em}(5)}$$ 相机的位姿$\mathbf{R},\mathbf{t}$又称为相机的外参数，外参会随着相机运动而改变，也是SLAM中待估计的目标，代表着机器人的轨迹。

2.畸变模型

  为了获得好的成像效果，在相机前方加了透镜，透镜的加入会对成像过程中光线的传播产生新的影响：一是透镜自身的形状对光线传播的影响；二是在机械组装过程中，透镜和成像平面不可能完全平行，这也会使光线穿过透镜投影到成像平面时的位置发生变化。

  由透镜形状引起的畸变(Distortion, 也叫失真)称为径向畸变，主要分为两大类：桶形畸变和枕形畸变，如图2-1所示。

  桶形畸变图像放大率随若与光轴之间的距离增加而减小，而枕形畸变则恰好相反。在这两种畸变中，穿过图像中心和光轴有交点的直线还能保持形状不变。

  除了透镜的形状会引入径向畸变，由于在相机的组装过程中不能使透镜和成像面严格平行，所以也会引入切向畸变，如图2-2所示。

2-1 径向畸变的两种类型（摘自参考文献）

2-2 切向畸变来源示意图（摘自参考文献）

  考虑归一化平面上的任意一点$\mathbf{p}$, 它的坐标为$[x,y{]}^T$，也可写成极坐标的形式$[r,0{]}^T$。可以通过5个畸变系数找到这个点在像素平面上的正确位置：

• 将三维空间点投影到归一化图像平面。设它的归一化坐标为$[x,y{]}^T$。
• 对归一化平面上的点计算径向畸变和切向畸变。
  $$\{\begin{array}{ll}{x}_{distorted}=x(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+2p_{1}xy+p_2(r^2+2x^2)& \\ y_{distorted}=y(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)+p_1(r^2+2x^2)+2p_{2}xy& \end{array}$$
• 将畸变后的点通过内参数矩阵投影到像素平面，得到该点在图像上的正确位置。
  $$\{\begin{array}{ll}u=f_x\cdot x_{distorted}+c_x& \\ v=f_y\cdot y_{distorted}+c_y& \end{array}$$   单目相机的成像过程总结：
• 世界坐标系下有一个固定的点P, 世界坐标为${\mathbf{P}}_w$。
• 由于相机在运动，它的运动由$\mathbf{R}$，$\mathbf{t}$或变换矩阵$\mathbf{T}\in SE(3)$描述。P的相机坐标为${\mathbf{P}}_c=\mathbf{R}{\mathbf{P}}_w+\mathbf{t}$。
• 这时的${\mathbf{P}}_c$的分量为$X,Y,Z$, 把它们投影到归一化平面$Z=l$上，得到P的归一化坐标：
  ${\mathbf{P}}_c=[X/Z,Y/Z,1]$。
• 有畸变时，根据畸变参数计算${\mathbf{P}}_c$发生畸变后的坐标。
• P的归一化坐标经过内参后，对应到它的像素坐标：${\mathbf{P}}_{uv}=\mathbf{K}{\mathbf{P}}_c$

3.双目相机模型

  仅根据一个像素，我们无法确定这个空间点的具体位置。这是因为，从相机光心到归一化平面连线上的所有点，都可以投影至该像素上。只有当P的深度确定时，我们才能确切地知道它的空间位置，如图3-1所示：

图3-1 像素点可能存在的位置（摘自参考文献）

  测显像素距离（或深度）的方式有很多种，下面简单介绍双目相机的成像原理，如图3-2所示：

图3-2 双目相机的成像模型（摘自参考文献）

$O_L,O_R$为左右光圈中心， 方框为成像平面，$f$为焦距。$u_L$和$u_R$为成像平面的坐标。请注意， 按照图中坐标定义，和$u_R$应该是负数， 所以图中标出的距离为和$-u_R$。

根据图3-2，有：
$$\frac{z-f}{z}=\frac{b-u_L+u_R}{b}$$ 整理得：
$$z=\frac{fb}{u_L-u_R}=\frac{fb}{d}$$ 其中$d$定义为左右图的横坐标之差，称为视差。

• 由千视差最小为一个像素，于是双目的深度存在一个理论上的最大值，由$fb$确定。
• 基线越长，双目能测到的最大距离就越远，反之，小型双目器件则只能测量很近的距离。

4.RGB-D相机模型

  目前的RGB-D相机按原理可分为两大类，如图4-1 所示：

• 通过红外结构光(Structured Light) 原理测量像素距离。
• 通过飞行时间(Time-of-Flight, ToF) 原理测批像素距离。

  无论是哪种类型， RGB-D相机都需要向探测目标发射一束光线（通常是红外光）。在红外结构光原理中，相机根据返回的结构光图案，计算物体与自身之间的距离。而在ToF原理中，相机向目标发射脉冲光，然后根据发送到返回之间的光束飞行时间，确定物体与自身的距离。

图4-1 RGB-D相机原理示意图（摘自参考文献）

5.参考文献

• 高翔等. 视觉SLAM十四讲：从理论到实践第二版. 北京：电子工业出版社，2019.8.