相机标定-计算机视觉

1物理模型

1.1 标定

相机为什么需要标定？任何理论物理模型都是在特定假设上对真实事物的近似，然而在实际应用中存在误差，普通相机的成像模型也不例外（透视投影）。实际中，普通相机成像误差的主要来源有两部分，第一是sensor制造产生的误差，比如sensor成像单元不是正方形，sensor歪斜；第二是镜头制造和安装产生的误差，镜头一般存在非线性的径向畸变；镜头与相机sensor安装不平行，还会产生切向畸变。

1.2透视投影模型

普通相机的成像模型一采用小孔成像，初中的物理知识告诉我们，就是那个蜡烛成像实验，物体经小孔后，在成像平面成倒立的像。为了更好的进行理论阐述，一般默认采用虚拟成像平面（virtual image plane）进行分析。Matlab官方有张很形象的图片。

将小孔成像模型简化成几何表达的形式

在理想情况下，根据简单的相似三角形几何知识，可以推出3D目标点在相机坐标系下的坐标与图像像素坐标之间的关系， 如公式1-1：

f是焦距，X、Y、Z是3D点在相机坐标系坐标，u，v是图像坐标；
上述公式写成齐次坐标为：

λ为尺度因子，同一条投影线上的点都满足上述关系，只是λ不同而已；在不换sensor情况下，想增大物体分辨率，其实只要把相机靠近一点就行。

1.3主点偏移

主点是光轴和相机成像平面的交点，1.2节考虑的是理想成像情况，图像坐标系和相机坐标系原点重合，因此不存在坐标系偏移。但是在实际情况中，图像坐标系往往在图片的左上角，光轴过图像中心，因此图像坐标系和相机坐标系不重合。两个坐标系之间存在一个平移运动（如图）。
考虑主点偏移后，图像坐标和3D在相机坐标系坐标的关系为：

主点偏移后，透视投影模型的的齐次坐标表达为：

1.4 图像传感器特性

图像传感器像原尺寸在制造过程可能不是正方形，同时可能存在歪斜（skewed），因此需要考虑这些影响因素，传感器歪斜和不是正方形主要对相机x和y方向的焦距产生影响，数学表达见公式

在不考虑畸变的情况下，考虑主点偏移、图像传感器的特性，3D目标点成像数学模型用公式（1-5）可完全表达。这就是相机内部参数对成像的影响，因此K称为内参矩阵，相机内参标定主要是标定相机的焦距、主点、歪斜等内部参数。

1.4径向畸变

透过镜头边缘的光线很容易产生径向畸变，光线离镜头中心越远，畸变越大。

1.5相机外参

相机往往装在机械臂末端，移动小车前方，车辆四周，当我们需要知道成像平面内的物体在机器人或者车辆坐标系下的位置时，需要进行一个坐标转换，称为外参（Extrinsic parameters），它与相机制造、镜头畸变没有任何关系，只与相机在世界坐标系内的安装位置和角度有关。从纯数学的角度来说，刚体运动和坐标变换总是可以分解为一个旋转运动和一个平移运动。

因此世界坐标系下的点P与图像坐标的关系可以表达为：

相机标定就是标定内参和外参，通过一种理论数学模型和优化的手段来近似实际的物理成像关系。

2 模型求解

2.1内参和单应矩阵关系

空间中的3D点投影到图像上的关系为&