视觉SLAM十四讲学习笔记——第五讲相机与图像

---

---

前言

研0学生，放假宅家，本科期间对其感兴趣，故开始学习。
一个人学有点无聊，可以一起来学呀！参考书：高翔《slam十四讲》第二版
我会在我的笔记中，结合自己的理解复述内容，并对代码部分完成复现。有问题的可以留言或者私信噢！
开发环境：虚拟机Ubuntu22.04+Vscode。

---

一、相机模型

针孔相机模型

设$O-x-y-z$为相机坐标系，$O$是相机光心，物理成像平面是$O^{{}^{\prime }}-x^{{}^{\prime }}-y^{{}^{\prime }}$。

注：此图应从左往右看。

设$P$点的坐标是$[X,Y,Z{]}^T$，$P^{{}^{\prime }}$点的坐标是$[X^{{}^{\prime }},Y^{{}^{\prime }},Z^{{}^{\prime }}{]}^T$，物理成像平面到光心的距离为$f$（焦距）。根据相似三角形的知识可以得到：
$$\frac{Z}{f}=-\frac{X}{X^{{}^{\prime }}}=-\frac{Y}{Y^{{}^{\prime }}}$$
负号的原因是因为在小孔成像模型中，所呈现的像是倒像，为更符合实际，把成像平面等价地移至相机前方，去掉负号，并完成归一化，如下图所示。

整理得到一组更为简单的式子：
$$X^{{}^{\prime }}=f\frac{X}{Z}$$$$Y^{{}^{\prime }}=f\frac{Y}{Z}$$
为了描述传感器将感受到的光线转换成图像像素的过程，我们设在物理成像平面上固定着一个像素平面 $o-u-v$，原点$o$位于物理成像平面左上角，$u$轴向左平行于$x$轴，v轴向下平行于$y$轴。此时得到了像素坐标系下的$P^{{}^{\prime }}$的坐标$(u,v)$。

像素坐标系和成像平面之间，相差了一个缩放和一个原点的平移，设像素坐标系在$u$轴缩放了$\alpha$倍，$v$轴缩放了$\beta$倍，原点平移了$[c_x,c_y{]}^T$，可以得到像素坐标系下的$P^{{}^{\prime }}$的坐标$(u,v)$为：
$$\{\begin{array}{c}u=\alpha X^{{}^{\prime }}+c_x\\ v=\beta Y^{{}^{\prime }}+c_y\end{array}$$
将$X^{{}^{\prime }}$和$Y^{{}^{\prime }}$代入，得：
$$\{\begin{array}{c}u=\alpha f\frac{X}{Z}+c_x\\ v=\beta f\frac{Y}{Z}+c_y\end{array}$$将$\alpha f$合并成$f_x$,将$\beta f$合并成$f_y$,得：
$$\{\begin{array}{c}u=f_x\frac{X}{Z}+c_x\\ v=f_y\frac{Y}{Z}+c_y\end{array}$$
把上述式子改写成矩阵形式：
$$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{Z}\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\frac{1}{Z}KP$$
至此，我们得到得矩阵$K$即相机得内参矩阵，通常情况，相机生产好时，厂商会将其告诉你，如果没有，则需要自己标定，现在这个标定也很成熟，如张正友标定法。

相机既然有内参就会有外参，外参得概念是，观察上一个式子的$P$是相机坐标系下的坐标，在实际过程中相机是在运动的，所以$P$的相机坐标是它的世界坐标$P_w$经过平移旋转得到的。那么有：
$$Z{P}_{uv}=Z\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K(R{P}_w+t)=KT{P}_w$$其中$R,T$称为相机的外参。

畸变模型

待更新

双目相机模型

待更新

RGB-D相机模型

待更新

二、图像

待更新

三、代码复现

待更新

---

总结