详解相机标定算法原理

详解相机标定算法原理

1.1 为什么要相机标定？

相机的作用就是将真实的三维世界转换成二维平面世界，可以将相机看成一个函数，输入是一个三维的场景，输出是我们获得的二维的图片。从三位世界到二维世界的这个映射关系是不可逆的，也就是说无法仅通过一张二维图片来得到真实的三维世界。相机标定模型如图1所示：

相机标定就是通过输入带有标定pattern的标定板来计算相机参数，来用简单的数学模型来表达复杂的成像过程。求解这个数学模型，也就是求解相机的参数，包括相机的内参，外参以及畸变参数。有了这个数学模型，我们可以对相机拍摄的图片进行畸变矫正，也可以使用多个相机拍摄图片来进行三维重建，测量物体距离以及其他的计算机视觉的应用。

1.2 相机成像系统

1.2.1 小孔成像原理

小孔成像是一个简单的没有镜头的相机，仅有一个小的光圈。如图1.2所示。真实世界的3D物体P，发出的光线通过光圈后，在相机的另一侧，在像平面位置，得到一个道理的实像，也可以认为物体在相机的前面呈一个正立的虚像。

1.2.2 坐标系变换

从三维坐标重的某一点$P(x,y,z)$出发，推导在相机像素坐标系中的成像点。
**世界坐标系(World Coords)😗*点在真实世界的位置，描述相机位置，单位$m$
**相机坐标系(Cameras Coords)😗*以相机sensor为中心，建立相机坐标系，单位$m$
**图像物理坐标系(Image Coords)😗*经过小孔成像后得到的二维坐标系，单位$mm$
**像素坐标系(Pixel Coords)😗*成像点在相机sensor上像素的行数和列数，原点为图像左上角，可以说单位是pixel
主点：：主光线与像平面相交的位置，这个交点取决于镜头的光轴，一般情况下图像中心不可能和主点严格对准，即图1.3中的点α
四个坐标系，世界，相机，图像，像素坐标系具体如图1.3所示：

接下来我们建立从真实世界(世界坐标系)中的一点到像素坐标系上对应点的映射，这涉及到四个坐标系之间的三步转换。

1.2.2.1 世界坐标系到相机坐标系

首先考虑世界坐标系中的一点 $P(x_w,y_w,z_w)$，到相机坐标系 $p(x_c,y_c,z_c)$ 的对应关系，他们的转换关系可以通过矩阵$R,T$来表征。$R$是相机坐标系相对于世界坐标系的旋转矩阵，$T$是相机坐标系相对世界坐标系的平移矩阵，即相机的中心在世界坐标系对的坐标。他们之间的转换是刚体转换(Rigid Transformation),可以通过矩阵表示为：

$$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}_{3\times 3}& T_{3\times 1}\\ 0& 1\end{array}\right].\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right](1.1)$$

1.2.2.2 相机坐标系到图像坐标系

假设点$p(x_c,y_c,z_c)$在图像坐标系中的成像点是$p^{\prime }(x,y)$.这里基于小孔成像的原理，如图1.4的左图所示，焦距是$f$，成像面是与$XOY$平面平行且距离原点$f$的平面。图1.4的右图为$Z_{c}Y$截面。利用相似三角形可以求出：
图1.4 相机坐标到图像坐标的转换

化简后：

写成矩阵形式：

后续转换以及畸变见：
这里
单目相机标定