[学习笔记-SLAM篇]视觉SLAM十四讲ch5

本讲主要是相机模型相关的内容，理解比较容易。

注：
1）学习视频：【高翔】视觉SLAM十四讲。

第5讲

5.1 理论部分

前面主要围绕位姿进行讨论（求解及优化相关），这一讲主要针对观测问题，与相机模型有关。

1）相机模型

• 单目相机模型主要使用针孔模型；
  

注：
图片来源：针孔相机模型和相机镜头畸变模型。

• 依据相似三角形并去掉负号，结合单位变换（像素与米之间的转换）、图像原点在像素系的平移，可以得到相机系与像素系之间的关系——内参矩阵$K\text{K}K$，对应公式$Z\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)\stackrel{def}{=}KP\text{KP}KP$，其实际意义是改变$Z$时，投影点仍是同一个；

注：
图片来源：【高翔】视觉SLAM十四讲。

• 内参矩阵$K$出厂后固定不变（但若对图像剪切或压缩等操作改变分辨率后，$K$会改变，则需要重新标定）；
• 世界系与相机系之间的关系——外参矩阵$T\text{T}T$（实际是相机的位姿$R,t$，可以直接用变换矩阵$T$代替），外参矩阵是会改变的；
• 世界系到像素系的变换对应公式$Z{P\text{P}P}_{uv}=Z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\text{K}K({RP\text{RP}RP}_W+t\text{t}t)=KT\text{KT}KT{P\text{P}P}_W$，公式中也隐含了多次齐次与非齐次的变换（首先世界系下的3×1维${P\text{P}P}_W$齐次为4×1维，然后左乘4×4维的变换矩阵$T\text{T}T$，得到4×1维结果，再非齐次为3×1维，左乘3×3维内参矩阵$R\text{R}R$，得到3×1维结果；若将公式左边的$Z$移到右边，则相当于将右边3×1维结果归一化（非齐次）为2×1维结果，与左边剩下的2×1维像素坐标${P\text{P}P}_{uv}$对应）；
• 畸变模型包含径向畸变和切向畸变2部分。径向畸变含有桶形畸变（图像变小）和枕型畸变（图像变大），与像素和图像中心的距离有关；切向畸变与安装误差有关；
• 通常对归一化平面上的点计算畸变；
• 单目相机成像过程：世界系${P\text{P}P}_W$ $\stackrel{T}{⟶}$ 相机系 $\stackrel{/Z}{⟶}$ 归一化平面${P\text{P}P}_c$ $\stackrel{\text{畸变}}{⟶}$ 像素系${P\text{P}P}_{uv}$；
• 双目相机模型可看作是2个针孔模型，原理主要基于下图；
  

注：
图片来源：相机模型和双目立体匹配。

• 依据右边的两个相似三角形关系，有$\frac{z-f}{z}=\frac{b-u_L+u_R}{b}$，整理得$z=\frac{fb}{d}$，$d=u_L-u_R$为视差（视差最小为1个像素，双目深度存在理论上的最大值）；
• 双目成像时，基线$b$越长，可计算的距离越远；视差$d$越小，物体距离相机越近；
• RGB-D相机一般有2种测量深度的方式：红外结构光（依据返回的结构光图案）和ToF（依据光束飞行时间）。RGB-D相机可以生成彩色图，以及与彩色图像素信息对应的深度图。

2）图像

• 图像用矩阵（二维数组）表示，一般图像系的原点在图像左上角，每个像素位置$(x,y)$对应一个灰度值$I$，$x$表示行，$y$表示列；
• 灰度图的灰度用0~255表示，对应全黑$⟶$全白；
• 深度图的信息用0~65535表示，每1000表示1m，最大可表示65m；
• 彩色图有三个通道，每个通道（R、G、B）用0~255表示，有时也用A表示透明度，则为R、G、B、A四个通道。

5.2 实践部分

待续ing