相机标定

一. 针孔照相机模型原理

针孔相机模型就是把相机简化成小孔成像， 比较基础简单的投影变换有正交变换和透视变换。正交变换就是物体上的点全都平行地投射到投影面，没有远近的区别，即没有透视效果。透视变换正好相反，被投影物体处于一个四棱台区域中，物体被投影到离相机较近的平面上。相机被抽象为一个点，而投影点是物体上的点和相机的连线与投影平面的交点。

其中空间点C 是投影中心，它到平面的距离称为焦距。并且空间点P 在平面上的投影p 是以点C 为端点并经过点p 射线与平面的交点。这个平面叫做相机的像平面。点C 为光心。总结如下：
C 点即相机的中心点，也是相机坐标系的中心点；
Z 即相机的主轴；
P 点即相机的像平面，也就是图片坐标系所在的二维平面；
p 即主点，主轴与像平面相交的点；
C 点到 p 点的距离，即相机的焦距；

1.1 世界转换到相机

（如上图所示），从世界坐标系转换到相机坐标系是三维空间到三维空间的变换，一般来说需要一个平移操作和一个旋转操作就可以完成这个转换，用公式表示如下（可以理解为世界坐标系原点先平移到相机坐标系的位置然后在做一次坐标系旋转，使坐标轴对齐。

其中R 称为旋转矩阵，T 为三维平移向量，经过变换后两个变量整合进了M 中

当中的平移参数t x ,t y ,t z 以及旋转参数r x ,r y ,r z 这六个参数为照相机的外参数。

1.2 相机转换到像平面

相机坐标系中的一个点 X（现实三维世界中的点），在像平面坐标系对应的点是 x，要求从相机坐标系转为像平面坐标系的转换，也就是从 X 点的( X , Y , Z ) 通过一定的转换变为 x 点的( x , y ) 。( X , Y , Z ) 是在相机坐标系，而( x , y ) 是在像平面坐标系。根据观察上图，可以看出两个三角形为相似三角形。于是可以得出以下公式：

二、相机标定实现

2.1 相机标定原理

标定照相机是指计算出该照相机的内参数。标定照相机的标准方法是，拍摄多幅平面棋盘模式的图像，然后进行处理计算。由于光线在远离透镜中心的地方比靠近中心的地方更加弯曲或是透镜质量原因，图像会产生径向畸变。
计算内参与外参的初值
通过上文可以很容易推导出，一个三维空间的点转换到像平面，他们之间的单应性关系可以表示为

其中s为尺度因子，K为内参矩阵，R , t 分别为旋转矩阵和平移向量，令K:

(Uo,Vo)为像主点坐标， α β 为焦距与像素横纵比的融合。 γ为畸变系数。s对于齐次坐标来说，不会改变齐次坐标值。张氏标定法中，将世界坐标系狗仔在棋盘格平面上，令棋盘格平面为 Z = 0 的平面。则可得：


H是描述Homography矩阵，可以通过最小二乘，从角点世界坐标到图像坐标的关系求解。Homography有8个自由度，即8个未知量，所以最少需要8个方程，而每个对应点能提供两个方程，所以至少需要4个对应点，才能算出H HH矩阵。通过上式的矩阵运算，根据r 1 r2正交，以及归一化的约束可以得到下面的式子：

即每个单应性矩阵能提供两个方程，而内参数矩阵包含5个参数，要求解，至少需要3个单应性矩阵。为了得到三个不同的单应性矩阵，我们使用至少三幅棋盘格平面的图片进行标定。通过改变相机与标定板之间的相对位置来得到三个不同的图片。为了方便计算，定义如下：

可以观察出该阵是个对称阵，于是B可以表示成6D向量b :

可以推导出：

利用约束条件：

通过上式，我们至少需要三幅包含棋盘格的图像，可以计算得到B，然后通过cholesky分解，得到相机的内参数矩阵K：

最大似然估计

上述的推导结果是基于理想情况下的解，但由于可能存在高斯噪声，所以使用最大似然估计进行优化。

其