第五讲——相机与图像

本章说

  题头诗：

  重走SLAM路，之前学的全忘光
  今日重拾起，痛定思痛写总结
  长征路漫漫，君当切实行

  第五讲主要理解针孔相机模型的成像流程，内参定义，外参定义以及畸变过程；顺带理解双目相机成像原理，RGB-D相机介绍以及图像在代码中的表示方法；最后，重点理解相机标定方法。

讲内容

  首先，要讲清楚针孔相机模型，我认为应从物->像与像->物两个流程对比着看：

物->像	像->物
有一世界坐标系下的点$P_w$为$[X,Y,Z]$	有一个畸变图像，图像点集为 { P u v ~ } \{\tilde{P_{uv}}\} {Puv​~​}
$P_w$通过相机外参（即位姿$\mathbf{R}$和$\mathbf{t}$，亦可理解为变换矩阵$\mathbf{T}$）变换到相机坐标系$\widetilde{P_c}=\mathbf{T}{P}_w$为$[x,y,z]$	对整个图像去畸变得到正常图像点集为 { P u v } \{P_{uv}\} {Puv​}（该步操作流程见注2）
$\widetilde{P_c}$对$z$做归一化，变换到归一化平面坐标$P_c$为$[x/z,y/z,1]$	对该图像点集中的某一点$P_{uv}$，左乘内参矩阵的逆矩阵${\mathbf{K}}^{-1}$转换为归一化平面坐标$P_c$，$P_c={\mathbf{K}}^{-1}{P}_{uv}$
对$P_c$进行畸变，通过径向畸变公式与切向畸变公式计算$P_c$进行畸变后的坐标	若有尺度信息，根据尺度信息还原归一化坐标至相机坐标$\widetilde{P_c}$，$\widetilde{P_c}=z{P}_c$
$P_c$左乘相机内参矩阵$\mathbf{K}$，转换成像素坐标$P_{uv}=\mathbf{K}{P}_c$	左乘相机外参的逆，求得世界坐标系下对应点的坐标

注1：相机内参矩阵由伸缩尺度和平移尺度两类参数组成，又由于相机图像是二维的，所以总计有4个参数，分别记为$f_x,f_y,c_x,c_y$，由它们组成的相机内参矩阵为$\mathbf{K}=\left[\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right]$。（注意，直接左乘变为像素坐标的前提是已经做了归一化，否则还需要除以z坐标）

注2：畸变图像还原的操作是一个从正常图像某像素点出发，找它的畸变图像对应点像素并填充的过程，需要注意的是，如果正常图像像素点畸变后超出畸变图像范围，则说明该点信息丢失，需要算法补充（最简单的处理方式是补0或1）
简要的流程可以总结为：

  接着，要简单讲讲双目相机成像与测量深度信息的原理，主要理解视差与基线的概念：

1. 基线是指双目相机间的间隔，视差则是指世界坐标系下的同一个点在左右相机中成像横轴的间隔
2. 双目相机有理论最远测量距离，因为其左右相机成像横轴的最小间隔为1像素

  RGB-D相机和图像部分并没有什么需要展开介绍的内容，所以这里略过

  最后，说一说相机内参标定的事

   先码两个相机标定方式的学习地址吧，学会了再回来写总结：计算机视觉基础——相机标定以及相机标定之张正友标定法（注：第二个链接中消掉尺度$Z$的过程是利用$Z$的方程求得$Z$的表达，再带入$u,v$的表达式消去$Z$）两个介绍各有优劣，第一个符号更为规范明确，但介绍模糊，第二个则介绍更为详细简单，但存在符号的不规范，两个内容结合起来可以清晰的理解张正友标定法的过程，我总结为一个口诀：

世界坐标标定盘，保证$Z$轴为零蛋；

内外参合单应矩，每张照片各一个；

正交建立方程式，求解最少要三张；

获得内参矩阵后，接着求解外参数；

利用内外参数型，求得理想$(u,v)$值；

假定存在畸变量，理想实际成约束；

所有参数得到后，最小重投影误差；