第五讲：相机与图像

针孔相机模型：

照片记录了真实世界在平面上的投影。
丢失了距离上的信息。
普通相机可以用针孔模型近似。

针孔相机模型：

点P通过相机光心，在成相平面成了一个像P’。

我们可以通过相似三角形原理，得出：

上图中[图5-1中]我们得到的是倒立的像，但在实际生活中，我们一般会把这个像翻转过来，所以翻转到前面后，我们可以得到新的公式：

整理两个公式，我们可以得到：

物理成相平面的中心并不一定在该平面的中心，同时，在成像过程中还存在着一定的缩放，所以我们得到新的关系：

我们将上方的式子，带到原有的公式：

得到新的关系：

用矩阵表达出来是这样的：

中间的矩阵叫做内参数矩阵，我们认为，相机出场时内参就是固定的，右边的[X,Y,Z]^T是非其次坐标。
如果你对图像进行了剪裁、缩放、平移等等操作的话，那么内参矩阵会发生一些变化。

P从世界矩阵变化到相机坐标：

这里 R, t 或 T 称为外参，外参也是SLAM估计的目标。
右侧式子隐含了一次非齐次到齐次的变换。

个人见解：上式中，相机内参矩阵描述了因相机的缩放、平移等操作对实际的影响，而R、t矩阵，也就是旋转平移矩阵T，描述的是相机姿态、方位对相机坐标系下的点的坐标与世界坐标系下点的坐标的影响。真实世界的坐标，在经过两次矩阵变换后，映射到了相机平面内，被刻画到相机坐标系中。

畸变

原本小孔成像模型中，我们的光线都是沿着直线传播的，但是由于相机的结构中存在着一些光学透镜，导致成像后的图像发生了扭曲，原本直立的高楼变得扭曲，上面的图片就是广角镜头产生畸变时的效果。

除了这两种畸变外，还有一种切向畸变

径向畸变可以用归一化坐标的变换来描述：

切向畸变：

放在一起，可以保留各项系数：

小结

1.首先，世界坐标下有一个固定的点P，世界坐标为$P_w$
2.由于相机在运动，他的运动由R、t或变换矩阵T来描述，P的相机坐标为：
$$P_c^{\prime }=R{P}_w+t$$
3.这时的P‘c有三个量，把他们投影到归一化平面Z=1上，得到P的归一化相机坐标：Pc=[X/Z,Y/Z,1]
4.对归一化的坐标进行畸变处理
5.最后，对应到他的像素坐标：$P_{uv}=K{P}_c$

双目相机

左右相机中心距离称为基线

左右像素的几何关系：

整理得到：

RGB-D相机：物理手段测量深度

ToF或结构光两种主要原理
通常能得到与RGB图对应的深度图