工业相机基础知识以及相机内参标定

第一部分 工业相机基础知识

本部分主要参考以下文章：
【计算机视觉】相机成相之像距、物距、焦距
CCD以及镜头入门知识
工业摄像头传感器尺寸与像元尺寸的关系

1.相机成像

根据相机成像原理，可得到如下图：

其中：
物距—被拍摄物体到凸透镜的距离，
像距—成像平面到凸透镜的距离，
焦点—通过凸透镜的、平行主光轴的光线，在主光轴上的会聚
焦距—凸透镜中心到焦点的距离
焦距固定的是定焦镜头，焦距可以调节的是变焦镜头
焦距、物距、像距最基本的关系可以用高斯成像公式1/u+1/v=1/f表示

因此，当物距为无穷远时，像距等于焦距，成像在焦平面上。

2.传感器

靶面尺寸
靶面尺寸也指传感器尺寸，一般用传感器的靶面对角线长度来表示CCD或者CMOS的尺寸大小，单位为英寸，这里的一英寸换算成毫米是16mm，而不是常规的25.4mm，相机说明书上一般会表明传感器的尺寸，类似1/2’’、2/3’‘等等。
使用中，我们可以根据16mm乘以x’'系数传感器得到工业摄像头的图像传感器的靶面对角线长度，例如1/2’‘传感器对角线则为8mm，按照一般的传感器的长宽比为4：3的话，那么就对应勾股定理，1/2’的传感器长宽分辨率为6.4mm、4.8mm。现在的传感器尺寸通常为正方形，这里存在个体差异。
像元大小
像元大小是一个相对概念，和分辨率有关，表示一个像素在传感器靶面上所对应的物理尺寸大小，厂商会告诉你像元大小和分辨率，对于某相机说明书上写1080P对应的像元大小为3um3um，则其传感器靶面尺寸为横向19203um=5.76mm，纵向1080*3um=3.24mm，对角线长度为6.60872，约为1/2.4’'的传感器。

第二部分相机内参标定

本部分主要参考以下文章：
立体视觉再次整理学习

1.成像平面与传感器平面转换

红色箭头为各自平面的坐标系，则从靶平面的点到成像平面有如下转换关系：

其物理意义：
(1).对于u0和v0来说，就是两个平面所在坐标系原点不同，进行对齐操作，即x与y方向上的平移量
(2).对于dx和dy来所，就是两个平面之间的缩放倍数，也即从成像平面到传感器之间的转换。具体解释：
每个传感器都有一定的尺寸，拍摄的画面也有一定的分辨率，这个就确定了毫米与像素点之间的转换关系，举个例子，传感器靶平面尺寸为8mm6mm，帧画面的分辨率设置为640pixel480pixel，那么毫米和像素点之间的转换关系就是80pixel/mm，设传感器的每个像素点的物理大小为dx*dy，相应低，就有dx=dy=1/80.

2.世界点到传感器平面的转换

世界点到传感器平面的转换可以利用投影关系解决。

通过几何关系，我们可以得到如下转换公式：
x/X = f/Z ==> x = X*f/Z
所以得到：

3.求解内参，世界点到成像平面的转换关系

通过1和2步的求解，我们分别知道了成像平面到传感器靶面的转换关系，以及世界点到传感器靶面的转换关系，因此我们可以利用传感器靶面作为桥梁，来获得世界点到成像平面的转换关系。
将上面两个矩阵转换关系进行融合，可以得到下面关系：

图中的f/dx、f/dy、u0、v0就是我们利用opencv或者其他标定工具所求出的相机内参，因此我们就可以理解，这些内参中的物理意义：
(1)首先是u0、v0为传感器靶平面到成像平面坐标原点在x和y方向上的平移量。
如何判断我们求得的结果是否正确呢？一般情况下，求得的值越等于分辨率的不同方向的一半。
(2)1/dx和1/dy的物理意义是传感器靶面上的每一毫米在像素（成像）平面上所代表的像素个数，因此f/dx和f/dy就代表焦距在像素（成像）平面上的不同方向的像素个数。
如何判断我们求得的结果是否正确呢？一般情况下，f/dx * 像元大小 = f的真实物理值或者f/dy*像元大小=f置身的物理值，例如我们已知某焦距为2.5mm的鱼眼相机，在1080P下的像元大小为3um，那么f/dx或者f/dy为2.5mm/3um ~= 830左右

第三部分补充

上面的成像平面到传感器平面的转换示意图中，x轴的方向是错误的，这里给矫正一下