视觉相机基础知识整理

目录

前言

一、相机的通用参数

二、相机的标定原理

三、相机驱动

四、相机输出常用数据格式

五、图像的常用数储存格式

---

前言

列出了工业视觉相机使用入门过程中可能用到的基本知识，详细内容请进一步查阅学习。

---

一、相机的通用参数

1.分辨率：

（1）相机分辩率：指相机每次采集图像的像素点数，即传感器芯片靶面排列的像元数量。（单位：Pix）

（2）相机极限分辨率：相机的极限空间分辨率不是由相机自身的分辨率决定，而是由传感器芯片的单个像元尺寸决定。具体计算公式如下：（单位：线对[lp]/mm）

（3）镜头极限分辩率：指在像平面处1毫米内能分辨开的黑白相间的线条对数（单位：线对[lp]/mm），按照相机镜头的匹配原则，镜头的极限分辨率需大于或等于相机的极限分辨率。

2.传感器：

（1）传感器芯片按工艺分为：

①CCD类（Charge Coupled Device,电荷耦合元件），如 CCD、ICCD、EMCCD；

②CMOS类（金属氧化物半导体元件），如 CMOS、sCOMS；

③特殊波长类，如 InGaAs（短波红外）、T2SL（短波红外）、MCT（中波红外）、a-Si（长波红外）；

（2）传感器尺寸是以感光元件阵列的有效面积（宽*高）或以对角线大小（英寸）来表示的。

（3）相同分辨率的相机，传感器尺寸越大，像元尺寸越大，这样会增加每个像元的感光面积，对提高图像的质量有益。

（4）相同工作距离、相同的镜头下，传感器尺寸越大，拍摄的视野越大。

3.感光元件及像元尺寸：

（1）感光元件（像元）：

感光元件是传感器芯片中影像捕获的基本单位，每个感光元件对应图像传感器中的一个像素。

（2）感光元件的核心是感光二极管，感光二极管在接受光线照射之后能够产生输出电流，电流的强度与光照强度对应。

（3）像元尺寸：

像元尺寸就是传感器芯片中单个感光元件的面积。单位面积内，像元越小，对细节的解析越好，分辨率越高。

（4）像元尺寸和像元数（分辨率）共同决定了相机靶面的大小。随着像元尺寸的缩小，满阱容量（每个感光元件能够储存的电荷数量）也随之减小，造成相机动态范围的降低。

4.色彩捕获

感光元件只能感应光的强度，无法捕获色彩信息。目前，彩色成像工业相机主要分为三棱镜和滤光片两种形式。

①滤光片式（拜尔阵列）（单芯片）

在图像传感器前面，设置一个滤光层，上面布满了一个个滤光点，与下层的像素一一对应。

滤光层一般使用RGB红绿蓝三色滤光片阵列，以1：2：1的构成，由四个像元构成一个彩色像素。即红蓝滤光片分别覆盖一个像元，剩下的两个像元都覆盖绿色滤光片，采取这种比例的原因是人眼对绿色较为敏感。

索尼的四色CCD技术，则将其中的一个绿色滤光片换为翡翠绿色（英文 Emerald，有 些媒体称为E通道），由此组成新的R、G、B、E四色方案。

不管是哪一种滤光方案，都要四个像元才能够构成一个彩色像素。

由于价格低廉，目前大多数彩色工业相机使用滤光片式采集。

②棱镜式（三芯片）

使用三棱镜将射入的白光分成三束，每束光都由不同的内置光栅来过滤出某一种三原色，然后使用三块传感器分别感光。最后再将这三张图像合成一张高分辨率、色彩精确的图像。可以做到同点合成，因此拥有高色彩还原特性，可以满足特殊视觉场景下对颜色的高分辨度需求，但造价比较昂贵，可选的镜头少。

5.黑白/彩色相机的选择与异同

除非检测目标与色彩相关，否则一般选用黑白工业相机。

①精度比较：

目前大多数彩色工业相机使用拜尔滤光式成像，用4个像元合成一个彩色像素点。每个像元只储存了红/绿/蓝中的一种分量值，但又要在输出彩色图像的同时，保持画幅尺寸不变。所以，在后期的算法处理中，系统会将每个像元丢失的两种颜色分量值，通过反马赛克插值来补回（伪彩色）。（所以型号相同的相机，彩色/黑白价格一样）。而黑白相机（准确讲应该是“单色相机”）因为把感光元件前面的拜耳滤镜去掉了，所以每一粒像素（像元）都真正用来感光。因此，同样分辨率下的工业相机，黑白相机的精度比彩色相机更高。

②感光度：

拜尔滤光式传感器，由于使用了滤色片，所以光线到达像素时经过了衰减。而黑白传感器可以使光线接近100% 能量到达像素，因此黑白传感器拥有更高的感光度。

③干涉现象：

拜尔滤光式成像在拍摄纹路精细的物体时，很容易产生摩尔纹。摩尔纹的产生是因为采用传统拜尔阵列方式，每四个像素（2 x 2）阵列被重复，也就是说每隔一行（列）相同颜色的像素重复出现。从数学上讲，两个频率接近的等幅正弦波叠加，合成信号的幅度将按照两个频率之差变化。所以如果拍摄画面里面有线条形状是隔一个像素重复出现的话，摩尔纹就容易产生。而且摩尔纹是不规则的，没有明显的形状规律。

6.动态范围：

动态范围是用来描述每个像素能够分辨出的灰度等级。它是饱和电压（最大的输出电平）相机输出的噪声之比，动态范围可用dB来表示。

宽动态范围，能够使场景中非常亮和非常昏暗部分的细节同时被清晰的显示。一般来说，低动态范围的相机噪声比较多，照片会缺失亮部细节和暗部细节。

7.快门类型

工业相机的快门类型分为：全局快门或滚动快门。

①全局快门

全局指的是整个表面同时曝光，一次即拍摄整个图像区域。

如果相机必须拍摄在快速移动的物体，或相机本身需要快速移动，那么全局快门是理想之选。

全局快门每像素需要4-5个晶体管输送电子，往往会产生相对较高的背景噪声和大量热量。

②滚动快门（卷帘快门）

相机会以逐行的方式进行连续曝光。

滚动快门方法每像素仅需2个晶体管输送电子，因此产生的热量相对较少，背景噪声也低得多。

对于运动的目标，滚动快门所造成的畸变往往超出可接受的阈值，因此一般用于拍摄静态对象。

搭配频闪光源时，闪光灯周期需与滚动快门周期同步。

8.曝光时间

相机在拍摄运动的物体时，如果物体运动过快，相机的曝光时间设置过长，则会引起运动模糊。滚动快门效应并不应该与动作模糊混为一谈，使用全局快门芯片同样会出现动作模糊，解决的方式是缩短曝光时间。

快门速度（曝光时间）：

如果物体运动速度v=100m∕s ，项目检测精度 r=0.01mm ，则最大曝光时间t 计算公式为：

通常来说，物体运动引起的模糊应该比我们要求的测量精度小一个数量级。如此短的曝光时间，对光能量要求比较大，因此需要选择合适的光源与光源控制器。

9.帧率

相机的帧率决定着设备的测量效率。帧率表示每秒钟最多拍摄次数。实际拍摄的数量及频率，在此范围内，可以由软件或硬件进行触发控制。帧率决定了最高拍摄频率，而曝光时间，则决定了拍摄质量（是否有拖影），两者不相关。通常来说，相机的分辨率越低，同样的接口，帧率也会越高，而分辨率越高，帧率也会越低。有如下关系：帧率×分辨率≤总线带宽

在接口一定(总线带宽已经确定)，分辨率一定时，帧率也是有其最大值的。既想要相机的分辨率高，又要想相机的帧率高，那么就需要找更大带宽的总线，也就是传输率更高的相机数据接口。

10.防护等级

IP（INGRESS PROTECTION）防护等级系统

由IEC（INTERNATIONAL ELECTROTECHNICAL COMMISSION）所起草，将电器依其防尘防湿气特性加以分级。

IP防护等级是由两个数字所组成：

第1个数字，表示电器防尘、防止外物侵入的等级

第2个数字，表示电器防湿气、防水浸入的密闭程度，数字越大表示其防护等级越高。

二、相机的标定原理

1.为什么要进行标定？

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。

进行摄像机标定的目的：求出相机的内、外参数，以及畸变参数。

标定相机后通常是想做两件事：一个是由于每个镜头的畸变程度各不相同，通过相机标定可以校正这种镜头畸变矫正畸变，生成矫正后的图像；另一个是根据获得的图像重构三维场景。 

相机标定方法有：传统相机标定法、相机自标定法、主动视觉相机标定方法。

①传统相机标定法需要使用尺寸已知的标定物，通过建立标定物上坐标已知的点与其图像点之间的对应，利用一定的算法获得相机模型的内外参数。根据标定物的不同可分为三维标定物和平面型标定物。三维标定物可由单幅图像进行标定，标定精度较高，但高精密三维标定物的加工和维护较困难。平面型标定物比三维标定物制作简单，精度易保证，但标定时必须采用两幅或两幅以上的图像。传统相机标定法在标定过程中始终需要标定物，且标定物的制作精度会影响标定结果。同时有些场合不适合放置标定物也限制了传统相机标定法的应用。

②自标定算法中主要是利用相机运动的约束。相机的运动约束条件太强，因此使得其在实际中并不实用。利用场景约束主要是利用场景中的一些平行或者正交的信息。其中空间平行线在相机图像平面上的交点被称为消失点，它是射影几何中一个非常重要的特征，所以很多学者研究了基于消失点的相机自标定方法。自标定方法灵活性强，可对相机进行在线定标。但由于它是基于绝对二次曲线或曲面的方法，其算法鲁棒性差。

③基于主动视觉的相机标定法是指已知相机的某些运动信息对相机进行标定。该方法不需要标定物，但需要控制相机做某些特殊运动，利用这种运动的特殊性可以计算出相机内部参数。基于主动视觉的相机标定法的优点是算法简单，往往能够获得线性解，故鲁棒性较高，缺点是系统的成本高、实验设备昂贵、实验条件要求高，而且不适合于运动参数未知或无法控制的场合。

相机标定的目的：获取摄像机的内参和外参矩阵（同时也会得到每一幅标定图像的选择和平移矩阵），内参和外参系数可以对之后相机拍摄的图像就进行矫正，得到畸变相对很小的图像。

相机标定的输入：标定图像上所有内角点的图像坐标，标定板图像上所有内角点的空间三维坐标（一般情况下假定图像位于Z=0平面上）。

相机标定的输出：摄像机的内参、外参系数。

张正友法标定相机的标定流程：

1.准备标定图片

2.对每一张标定图片，提取角点信息

3.对每一张标定图片，进一步提取亚像素角点信息

4.在棋盘标定图上绘制找到的内角点（非必须，仅为了显示）

5.相机标定

6.对标定结果进行评价

7.查看标定效果——利用标定结果对棋盘图进行矫正

三、相机驱动

相机驱动的原理主要涉及到将相机捕获的图像数据转化为计算机可识别的数字信号，并通过软件或驱动程序来控制相机的功能和参数。

通常，相机驱动通过读取相机的数字接口，例如 USB 或 Firewire，来连接相机与计算机。驱动程序利用协议(如 USB 协议)与相机进行通信，以获取图像数据并控制相机的功能。

同时，驱动程序还支持软件对相机进行设置，例如调整曝光时间、感光度和对焦等。它还可以支持相机的高级功能，例如镜头控制、光学变焦等。

总之，相机驱动是相机与计算机之间的桥梁，通过它，计算机可以识别和控制相机，从而实现拍照和视频录制等功能。

四、相机输出常用数据格式

视觉相机常见的数据输出格式有: RGB格式、YUV格式、Rawdata格式。

①RGB 格式:采用这种编码方法,每种颜色都可用三个变量来表示红色、绿色以及蓝色的强度。每一个像素有三原色 R 红色、G 绿色、B 蓝色组成。

②YUV 格式:其中“Y”表示明亮度(Luminance 或 Luma),就是灰阶值;而“U”和“V”表示色度(Chrominance 或 Chroma),是描述影像色彩及饱和度,用于指定像素的颜色。

③RAW DATA 格式:是 CCD 或 CMOS 在将光信号转换为电信号时的电平高低的原始记录,单纯地将没有进行任何处理的图像数据,即摄像元件直接得到的电信号进行数字化处理而得到的。

五、图像的常用数储存格式

1.PNG格式----无损压缩

PNG原名称为“可移植性网络图像”是网上接受的最新图像文件格式。PNG能够提供长度比GIF小30％的无损压缩图像文件。它同时提供 24位和48位真彩色图像支持。

2.JPEG格式

JPEG文件后辍名为“.jpg”，是图像文件最常用的一种有损压缩格式，能够将图像压缩在很小的储存空间，图像中重复或不重要的资料会被丢失，因此容易造成图像数据的损伤。尤其是使用过高的压缩比例，将使最终解压缩后恢复的图像质量明显降低，如果追求高品质图像，不宜采用过高压缩比例。但是JPEG压缩技术十分先进，它用有损压缩方式去除冗余的图像数据，在获得极高的压缩率的同时能展现十分丰富生动的图像，可以用最少的磁盘空间得到较好的图像品质。

JPEG格式的应用非常广泛，特别是在网络和光盘读物上，都能找到它的身影。目前各类浏览器均支持JPEG这种图像格式，因为JPEG格式的文件尺寸较小，下载速度快。

3.TIFF格式

标签图像文件格式是一种灵活的位图格式，主要用来存储包括照片和艺术图在内的图像， TIFF图像文件是图形图像处理中常用的格式之一，其图像格式很复杂，但由于它对图像信息的存放灵活多变，可以支持很多色彩系统，而且独立于操作系统，因此得到了广泛应用。在各种地理信息系统、摄影测量与遥感等应用中，要求图像具有地理编码信息，例如图像所在的坐标系、比例尺、图像上点的坐标、经纬度、长度单位及角度单位等等。

4.BMP格式无压缩

BMP是一种与硬件设备无关的图像文件格式，使用非常广。它采用位映射存储格式，除了图像深度可选以外，不采用其他任何压缩，因此，BMP文件所占用的空间很大。BMP文件存储数据时，图像的扫描方式是按从左到右、从下到上的顺序。

由于BMP文件格式是Windows环境中交换与图有关的数据的一种标准，因此在Windows环境中运行的图形图像软件都支持BMP图像格式。它是包括Windows在内多种操作系统图像展现的终极形式，能够被多种Windows应用程序所支持。

5.GIF格式----无损压缩

GIF是一种基于LZW算法的连续色调的无损压缩格式。其压缩率一般在50％左右，它不属于任何应用程序。目前几乎所有相关软件都支持它，公共领域有大量的软件在使用GIF图像文件。

6.比较

TIFF：

(1)TIFF可以描述多种类型的图像；

(2)TIFF拥有一系列的压缩方案可供选择；

(3)TIFF不依赖于具体的硬件；

(4)TIFF是一种可移植的文件格式。

PNG与GIF：

（1）一般情况下将静态GIF图像无损转换为PNG后可以压缩率会略为提高（前提是同样采用8位索引模式）。

（2）PNG可提供更大颜色深度的支持，包括24位（8位3通道）和48位（16位3通道）真彩色。加入α通道后可进一步支持每像素64位的表示。

（3）超过8位色深的PNG图像转换为GIF时，图像质量会由于分色（颜色数减少）而下降。

（4）GIF原生支持动态图像，PNG只能通过非标准实现，在PNG的基础上另有发展出支持动画的APNG和MNG格式，但普及度不高。PNG在IE6等旧浏览器上的支持较差。

PNG 与JPEG：

（1）JPEG可以对照片（或类似）图像生成更小的文件，这是由于JPEG采用了一种针对照片图像的特定有损编码方法，这种编码适用于低对比，图像颜色过渡平滑，噪声多，且结构不规则的情况下。如果在这种情况下用PNG代替JPEG，文件尺寸增大很多，而图像质量的提高有限。相应的，如果保存文本，线条或类似的边缘清晰，有大块相同颜色区域的图像，PNG格式的压缩效果就要比JPEG好很多，并且不会出现JPEG那样的高对比度区域的图像有损。如果图像既有清晰边缘，又有照片图像的特点，就在在这两种格式之间权衡一下了。JPEG不支持透明度。

（2）由于JPEG是有损压缩，会产生迭代有损，在重复压缩和解码的过程中会不断丢失信息使图像质量下降。由于PNG是无损的，保存将要被编辑的图像来说更加合适。