针孔相机模型

小孔模型能够把三维世界中的物体投影到一个二维成像平面，我们可以用这个简单的模型来解释相机的成像过程，如下图。

设相机坐标系为O-X-Y-Z，其中O为相机光心O(即针孔模型中的针孔)，现实空间中一点P[X,Y,Z]T经过光心O投影后落在物理成像平面 O´-X´-Y´上成为像点P´[X´,Y´,Z´]T，设物理成像平面到小孔的距离为焦距f。那么，根据三角形相似有：

为了简化模型，我们做一个预处理，把成像平面对称到相机前方，那么有：

整理可得：

式(1.3)和(1.4)描述了物点P和像P´的空间关系。为了描述传感器感受到光线转换成图像像素的过程，我们不得不引入像素坐标系o-u-v，o位于图像左上角，u轴水平向右，v轴垂直向下，不难知道，像素坐标系和成像平面之间相差了一个缩放和一个原点的平移。设P´像素坐标为[u,v]T，像素坐标在u轴缩放了α倍，在v轴上缩放了β倍，原点平移了[c_x，c_y]T，那么P´与其像素坐标的关系为：

结合(1.3)和(1.4)，并把αf合并为fx，βf合并为fy，将公式写为矩阵形式：

其中，中间的量组成的矩阵称为相机的内参K，相机的K在出厂之后便是固定的，有时需要我们自己来确定K，就是所谓的标定。对比内参我们提出外参的概念，由于相机不是静止不动的，所以物点P的相机坐标应该是它的世界坐标根据相机的位姿变换到相机坐标系下的结果，而相机的位姿由俩个因子描述，旋转矩阵R和平移向量t，那么有以下关系：

相机的外参R,t会随着相机的运动发生改变，T是变换矩阵，可以涵盖R和t。又因为式(1.8)俩侧都是齐次坐标，乘上非零常数后表达相同的含义，所以可以将Z去掉，得：

右侧的TP表示把一个世界坐标系下的齐次坐标变换到相机坐标系下，为了使它与K相乘，需要取它的前三维组成向量，而TP最后一维为1，所以将这个三维向量的最后一维按照齐次坐标的方式进行归一化处理，从而得到P在相机归一化平面上的投影：

Pc称为归一化坐标，它位于相机前方z=1的平面，该平面称为归一化平面，Pc再经过内参K后就成了像素坐标，所以像素坐标可以看成对归一化平面上的点进行量化测量的结果。至此，针孔相机的成像模型我们就讲清楚了。
（注：本文总结参考自《视觉slam十四讲》）