利用python语言进行相机标定

利用python语言进行相机标定

一、相机标定相关原理

1.相机标定简介

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定（或摄像机标定）。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此，做好相机标定是做好后续工作的前提，提高标定精度是科研工作的重点所在。

2.坐标映射

由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。
与此相关的是图像坐标系和摄像机坐标系

2.1图像坐标系

1）图像坐标系(Pixel coordinate system)

摄像机采集的数字图像在计算机内可以存储为数组，数组中的每一个元素(象素，pixel)的值即是图像点的亮度(灰度)。如图所示，在图像上定义直角坐标系u-v，每一象素的坐标(u,v)分别是该象素在数组中的列数和行数。故(u,v)是以
象素为单位的图像坐标系坐标。

2）成像平面坐标系(Retinal coordinate system)

由于图像坐标系只表示象素位于数字图像的列数和行数，并没有用物理单位表示出该象素在图像中的物理位置，因而需要再建立以物理单位(例如厘米)表示的成像平面坐标系x-y，如上图所示。我们用(x,y)表示以物理单位度量的成像平面坐标系的坐标。在x-y坐标系中，原点定义在摄像机光轴和图像平面的交点处，称为图像的主点(principal point)，该点一般位于图像中心处，但由于摄像机制作的原因，可能会有些偏离，在坐标系下的坐标为(u0,v0)，每个象素在x轴和y轴方向上的物理尺寸为dx、dy，两个坐标系的关系如下：

其中s’表示因摄像机成像平面坐标轴相互不正交引出的倾斜因子(skew factor)。

3）摄像机坐标系(Camera coordinate system)

摄像机成像几何关系可由图表示，其中O点称为摄像机光心，轴和轴
与成像平面坐标系的x轴和y轴平行，轴为摄像机的光轴，和图像平面垂直。光轴与图像平面的交点为图像主点O’，由点O与轴组成的直角坐标系称为摄像机坐标系。OO’为摄像机焦距。

4）世界坐标系(World coordinate system)

在环境中还选择一个参考坐标系来描述摄像机和物体的位置，该坐标系称为世界坐标系。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述。由此，空间中一点P在世界坐标系和摄像机坐标系下的齐次坐标分别为和且存在如下关系：

其中R是3×3的旋转矩阵，t是3×1的平移向量，为（0，0，0），M1是两个坐标系之间的联系矩阵。
摄像机坐标系
摄影机坐标系的原点为摄像机光心，x轴与y轴与图像的X,Y轴平行，z轴为摄像机光轴，它与图像平面垂直，以此构成的空间直角坐标系称为摄像机坐标系，也称为相机坐标系，摄像机坐标系是三维坐标系。光轴与图像平面的交点，即为图像坐标系的原点，与图像的X、Y轴构成的直角坐标系即为图像坐标系，图像坐标系是二维坐标系。

二、相机标定算法流程

1.镜头畸变

普通相机的成像模型一采用小孔成像，即初中蜡烛成像实验，物体经小孔后，在成像平面成倒立的像。
小孔成像模型虽然充分考虑了相机内部参数对成像的影响，但没有考虑成像系统另一个重要的部分，镜头。镜头常用的有普通镜头、广角镜头、鱼眼镜头等，在无人驾驶和视觉slam领域，鱼眼镜头和广角镜头用的很多，主要是视角很大，可以观测到更多的信息。任何镜头都存在不同程度的畸变，不同类型的镜头用到的畸变模型也不相同。根据镜头制造和成像的物理特性，普通镜头主要考虑径向畸变和切向畸变，且畸变模型都可以用多项式来近似。而对于大广角、鱼眼镜头，普通镜头的物理模型不能适用了。

1.1径向畸变

透过镜头边缘的光线很容易产生径向畸变，光线离镜头中心越远，畸变越大。
从左到右依次为正常无畸变、桶形畸变、枕形畸变

径向畸变可以用如下公式修正：

1.2切向畸变

切向畸变主要发生在相机sensor和镜头不平行的情况下；因为有夹角，所以光透过镜头传到图像传感器上时，成像位置发生了变化。

切向畸变可以用如下公式修正：

2.相机标定

算法求解

世界坐标系下的点P与图像坐标的关系可以表达为：
相机标定就是标定内参和外参，通过一种理论数学模型和优化的手段来近似实