计算机视觉——相机标定

计算机视觉——相机标定

一、相机标定简介

相机标定指建立相机图像像素位置与场景点位置之间的关系，根据相机成像模型，由特征点在图像中坐标与世界坐标的对应关系，求解相机模型的参数。相机需要标定的模型参数包括内部参数和外部参数。

针孔相机成像原理其实就是利用投影将真实的三维世界坐标转换到二维的相机坐标上去，其模型示意图如下图所示：

从图中我们可以看出，在世界坐标中的一条直线上的点在相机上只呈现出了一个点，其中发生了非常大的变化，同时也损失和很多重要的信息，这正是我们3D重建、目标检测与识别领域的重点和难点。实际中，镜头并非理想的透视成像，带有不同程度的畸变。理论上镜头的畸变包括径向畸变和切向畸变，切向畸变影响较小，通常只考虑径向畸变。

径向畸变：径向畸变主要由镜头径向曲率产生（光线在远离透镜中心的地方比靠近中心的地方更加弯曲）。导致真实成像点向内或向外偏离理想成像点。

• 枕形畸变：畸变像点相对于理想像点沿径向向外偏移，远离中心；
• 桶状畸变：径向畸点相对于理想点沿径向向中心靠拢。
  
• 数学公式表示：
  
  即：
  则有：
  
  其中，X为相机中的坐标；|X为真实世界坐标；K为内参矩阵；**[R|t]为外参矩阵,K为内参矩阵，是相机内部参数组成的一个3*3的矩阵，其中，f代表焦距；s为畸变参数,(x0,y0)**x0=ay0为中心点坐标，a为纵横比例参数，我们可以默认设为1，所以x0=ay0。

[R|t]为外参矩阵，R是描述照相机方向的旋转矩阵，t是描述照相机中心位置的三维平移向量。

二、张友正黑白棋盘标定思想

张正友标定法利用黑白棋盘格标定板，在得到一张标定板的图像之后，用Harris角点检测算法得到每一个角点的像素坐标 (u,v) 。张正友标定法将世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标W=0，由于标定板的世界坐标系是人为事先定义好的，标定板上每一个格子的大小是已知的，我们可以计算得到每一个角点在世界坐标系下的物理坐标(U,V,W=0) 。我们将利用这些信息：每一个角点的像素坐标 、每一个角点在世界坐标系下的物理坐标，来进行相机的标定，获得相机的内外参矩阵、畸变参数。

三、算法原理

31.模型

3.2 模型求解

• 计算单应性矩阵
  单应性：在计算机视觉中被定义为一个平面到另一个平面的投影映射。首先确定，图像平面与标定物棋盘格平面的单应性。
  设棋盘格位于Z=0,定义旋转矩阵R的第i列为ri, 则有：
  
  则空间到图像的映射可变为：
  
  其中H 是描述Homographic矩阵,可通过最小二乘，从角点世界坐标到图像坐标的关系求解。
• 计算内参数矩阵
  令H= [h1 h2 h3 ]
  Homography有8个自由度，通过上述等式的矩阵运算，根据r1和r2正交，以及归一化的约束可以得到如下等式：
  
  定义：
  其中：
  
  B时对称阵，其未知量可表示为6D向量b：
  设H为第i列 中的hi:
  根据b的定义，可以推出如下公式：
  即可推导出：
  内部参数可通过如下公式计算(cholesky分解)：
  
  3.外部参数求解
  
  4.极大似然估计
  给定 n张棋盘格图像，每张图像有 m 个角点，最小化下述公式等同于极大似然估计：
  上述非线性优化问题可以利用Levenberg-Marquardt 算法求解，需要初值K,Ri,ti|i=1…n

四、实验内容及过程

4.1 实验要求

1.打印一张棋盘格A4纸张（黑白间距已知），并贴在一个平板上
2.针对棋盘格拍摄若干张图片（一般10-20张）
3.在图片中检测特征点（Harris角点）
4.根据角点位置信息及图像中的坐标，求解Homographic矩阵
5.利用解析解估算方法计算出5个内部参数，以及6个外部参数
6.根据极大似然估计策略，设计优化目标并实现参数的refinement

4.2 实验数据及环境

1.实验数据

• 手机（华为荣耀8 后置：1200万像素）拍摄各个角度下打印的黑白棋盘格图片12张：
  
  棋盘格规格为8*6，每个小格边长为0.038m
  2.实验环境
  win 10 ，64位，python3.6.5 ，OpenCV 4.2.0

4.3实现代码

<