机器视觉概述
机器视觉是一门涉及人工智能、计算机科学、图像处理、模式识别等多个领域的交叉学科,旨在通过计算机视觉系统模拟人类视觉功能,实现对客观世界三维信息的自动获取、理解和处理。
机器视觉系统组成
一个典型的工业机器视觉系统包括:光源、镜头、相机。图像处理单元(或图像捕获卡)、图像处理软件、监视器、通讯/输入输出单元等部分组成。各个部分之间相互配合,最终完成其检测要求。
1.光源与照明技术
(1.1)光源的类型
- 白炽灯:将灯丝通电加热到白炽状态,利用热辐射发出可见光的电光源。于1879年由美国发明家托马斯·阿尔瓦·爱迪生发明 部分真空;不使用燃气 直射光源
- 卤素灯 卤素灯是白炽灯的改进,它保持了白炽灯所具有的优点 燃烧干净、惰性气体 直射光源
- 荧光灯 两个灯管用于促使气体发光(gas glowing) 扩散光
- 激光 通过受激发射光扩大 所有光束有完全一样的波长,而且都相同 结构光源(点或面)
- 发光二极管(LED ) 发光二极管,简称为LED,是一种常用的发光器件,通过电子与空穴复合释放能量发光,它在照明领域应用广泛
- 氙气闪光灯 氙气灯是一种含有氙气的新型大灯,又称高强度放电式气体灯。氙气灯打破了爱迪生发明的钨丝发光原理,在石英灯管内填充高压惰性气体——Xenon 氙气,发出的光接近非常完美的太阳光






(1.2)照明技术

- 暗视场:增强轮廓和物体的形状 漫射面显亮 平整光洁表面显暗 用于增强高度有变化的特征: 表面检测 边沿探测


- 背光源:提供最佳对比度 零部件的轮廓和边线检测 有助于检测物体的形状,让尺寸测量变得更加的可靠 丢失的光源非常少


- 同轴光源:提供了比传统光源更均匀的照明 检测物体平整光滑表面的碰伤、划伤、裂纹和异物 提高了机器视觉的准确性和重现性


- 非同轴漫射光源:就想是圆顶形(Dome), 多云天气,或者像帐篷一样的光源. 最小化眩光


- 偏振光原理:用于减少眩光或者是镜面反射 光线经过偏振片改变传播方向 镜头前的偏振片配合使用


- 滤光片优点: 增加彩色场景的对比度 技术上相对简单、便宜 提示: 红色滤光片使蓝色和绿色物体颜色变暗 蓝色滤光片使红色和绿色物体颜色变暗 绿色滤光片使蓝色和红色物体颜色变暗 彩色灯光可以用来替换滤光片
(1.3)工业光源的种类
(1.3.1)条形光源


产品特点: 尺寸设计灵活 照射角度可根据检测需求随意调整 颜色可根据检测需求搭配,自由组合 特别适合大尺寸特征的成像场合运用 可选配漫射板,使光线均匀扩散
应用场景:

圆弧状表面外观检测 光源:FG-BR10017-W(两个) 检测轴承表面划痕,表面为金属反光材质,正面打光出现倒影,故选择从两侧打光利用暗视野均匀的呈现出缺陷

电路板字符检测 光源:FG-BR20017-R(带漫反射板) 检测改电路板利用冷暖色的打光方式,把背景打黑,字符打亮漫射扩散均匀体现字符

香烟条码字符检测 光源:FG-BR8017-W(带漫反射板) 检测字符用条光任意角度打光,字符打亮漫射扩散均匀体现字符
(1.3.2)弧状高均匀条形光源


应用场景:
表面字符检测 光源:FG-BL20030-W 使用带漫反射板的贴片弧状光源,进行多角度均匀照射,均匀体现字符

(1.3.3)四面条形组合光源
产品特点: 可任意组合,可0-90度任意调节角度 可选配不同透过率的漫射板,增加光源均匀性 波峰焊接工艺,安装更加方便 分别控制各自亮度和角度


应用场景:
卡片外观检测 光源:FG-BRF13517-W 使用组合条形光源,可0-90度的角度进行均匀照射,划痕和压痕很好的呈现


汽车零件检测 光源:FG-BRF30027-W 使用组合条形光源,可0-90度的角度进行均匀照射,划痕和压痕很好的呈现
(1.3.4)环形光源
产品特点: 角度多样化设计且可定制 安装简单,设计紧凑 高密度LED阵列设计,亮度高,均匀性好 可选配漫反射板导光,增加光源均匀性




(1.3.4)环形低角度光源
产品特点: 角度多样化设计且可定制 安装简单,设计紧凑 高密度LED阵列设计 高均匀性,工作距离较低


(1.3.5)高亮大功率环形光源
产品特点: 高亮度大颗粒LED阵列 远距离和大面积的照射 多种颜色可选且可制定 可选配不同透过率的漫射板,增加光源均匀性


应用场景:
陶瓷表面轮廓检测 光源:FG-DR70-W 陶瓷表面轮廓检测使用环形光源的直接照射方式可以把面照的亮一些,轮廓可以在工作距离高一些的情况下使用

汽车零件缺陷检测 光源:FG-DR206-A90-W 汽车零件端面缺陷检测使用环形水平低角度的照射方式可以把凸出来的六个脚照亮,而背景呈现灰黑色,这样很容易判断出缺陷

汽车轮载检测 光源:FG-DRG320-W 因检测的工作距离很长,面积也比较打,光源本身不能太重和机器人配合,这时候大颗粒高亮环形光源就可以很好的实现,在亮度工作距离上都能很好的满足要求

(1.3.6)面光源
产品特点: 均匀性好,亮度高,发热低 发光尺寸可灵活定制,适用于特殊场合


(1.3.7)中孔背光源
产品特点: 均匀性好,亮度高,发热低 发光尺寸可灵活定制 用于正面照射,代替无影光


应用场景:
医用瓶盖检测 光源:FG-TH5050-R 利用红色背景的穿透性,很好的区分医用瓶盖的气泡


汽车仪表盘按键是否装错检测 光源:FG-THZ360360-R(白色背景) 利用中孔背光的高亮度均匀性照射到表面均匀呈现字符和轮廓
(1.3.8)同轴光源
产品特点: 独特散热结构,提高稳定性,延长使用寿命 高级镀膜分光源,减少光损失 高反光表面的划伤检测


应用场景:

(1.3.9)球积分光源
产品特点: 高反射、高均匀的纳米涂层 坚固的外壳设计 无影效果好


应用场景:

(1.3.10)AOI光源
产品特点: 不同角度三色光照明,凸显焊锡三维信息 外加漫射板导光,减少强反光 多种发光角度组合可定制


应用场景:
PCB焊锡缺陷和元器件检测 光源:FG-AOI200-RGB 电路板的焊点检测的难点在于怎么样让焊点的曲面更好的反射到镜头里,提取更好的坡度信息。AOI三色光和四色光能更好的从多角度,组合颜色,多方位的体现产品信息

2.工业相机
工业相机基本原理是将光信号转变成电信号,从而实现数字图像。


(2.1)工业相机分类:
按芯片类型 | CCD相机 | CMOS相机 |
按传感器结构特征 | 线阵相机 | 面阵相机 |
按扫描方式 | 隔行扫描 | 逐行扫描 |
按分辨率大小 | 普通分辨率 | 高分辨率 |
按输出色彩 | 黑白相机 | 彩色相机 |
按输出信号 | 模拟相机 | 数字相机 |
按传输数据速度 | 普通速度相机 | 高速相机 |
按响应频率范围 | 可见光 | 红外,紫外 |
(2.2)工业相机芯片:
是工业相机用来感光成像的部件,相当于光学传统相机中的胶卷。

(2.2.1)芯片的大小

(2.2.2)常见芯片大小
(2.2.3)相机和镜头的靶面匹配
- 镜头的成像圆直径=相机芯片对角线尺寸
- 镜头的成像圆直径<相机芯片对角线尺寸(黑角)
- 镜头的成像圆直径>相机芯片对角线尺寸(镜头倍率浪费)

(2.2.4) 相机芯片的种类及对比
- CCD:是英文Charge Coupled Device 即电荷耦合器件的缩写,它是一种特殊半导体器件,能够把光学影像转化为数字信号
- CMOS:指互补金属氧化物半导体,通过CMOS上带负电和带正电的晶体管来实现基本的功能。这两个互补效应所产生的电流即可被处理芯片记录和解读成影像
CCD CMOS 设计 单一感光面 感光器连接放大器 灵敏度 同面积下高 感光开口校,灵敏度低 分辨率 高,成像好 较低,成像较差 噪点比 单一放大,噪点低 百万放大,噪点高 解析度 链接复杂度低,解析度高 解析度低,新技术高 功耗比 需外加电压,功耗高 直接放大,功耗低 成本 品质影响程度高,成本高 CMOS整合集成,成本低 (2.3)工业相机分辨率
分辨率是相机最基本的参数,由相机所采用的芯片分辨率决定,是芯片靶面排列的像元数量。分辨率越高,成像后的图像像素数就越高,图像就越清晰。通常面阵相机的分辨率用水平和垂直分辨率两个数字表示,常用的工业面阵相机分辨率有500万、1000万、2000万等;对于线阵相机而言,分辨率就是传感器水平方向上的像素数,常见有1K、2K、6K等。


- 像素 可以将像素视为整个图像中不可分割的单位或者是元素,它是以一个单一颜色的小格存在
- 像元 像元尺寸就是每个像素的面积。单个像素面积小,单位面积内的像素数量多,相机的分辨率增加,利于对细小缺陷的检测和增大检测视场。像元大小和像元数共同决定了相机靶面的大小

(2.4)工业相机扫描方式
- 隔行扫描:也称为交错扫描,最终是把每一帧图像通过两场扫描完成。模拟相机一般都是隔行扫描
- 逐行扫描:也称为非交错扫描,通过扫描每行像素,在电子显示屏上“绘制”视频图像,每一帧图像由电子束顺序地一行接着一行连续扫描而成。数字相机一般都是逐行扫描


二者区别: 逐行扫描克服传统扫描方式的缺陷,运动检测和运动补偿功能更加完善,并且显示稳定性比隔行扫描强,动态失真程度低。 隔行扫描有着较高的刷新率,改善了运动中物体的外观,空间分辨率比逐行扫描更高。
(2.5)工业相机结构接口
工业相机常用接口类型:有C,CS,F,K等接口类型,不同类型有不同的尺寸规格,通常情况下,相机接口与镜头接口一致方可同时使用,也可使用转接环进行接口转接。



(2.6)工业相机通讯接口
通讯接口是中央处理器和标准通信子系统之间的接口,简单来说就是两者之间进行通话沟通的渠道。常见的渠道有以下几种。




(2.7)面阵和线扫相机详情
- 线扫相机:顾名思义是呈“线”状的。虽然也是二维图像,但极长。线阵相机的传感器只有一行感光元素,所以线阵相机一般能够拥有非常高的扫描率与分辨率。
- 面阵相机:实现的是像素矩阵拍摄。是一款以面为单位来进行图像采集的成像工具,可以一次性获取完整的目标图像,具有测量图像直观的优势特征:

特征:
- 线阵相机使用的线扫描传感器通常只有一行感光单元(少数彩色线阵使用三行感光单元的传感器)
- 线阵相机每次只采集一行图像;
- 线阵相机每次只输出一行图像;
- 线阵相机通常用行频为单位 KHz,如 12KHz 表示相机在 1 秒钟内最多能采集 12000 行图像数据

特征:
- 面阵扫描每次采集若干行的图像并以帧方式输出
- 应用面较广,如面积、形状、尺寸、位置,甚至温度等的测量
线扫和面阵相机的区别:
- 应用对比: 面阵相机:应用面较广,如面积、形状、尺寸、位置,甚至温度等的测量。 线阵相机:主要应用于工业、医疗、科研与安全领域的图象处理。典型应用领域是检测连续的材料,例如金属、塑料、纸和纤维等。被检测的物体通常匀速运动 , 利用一台或多台相机对其逐行连续扫描 , 以达到对其整个表面均匀检测。
- 分辨率: 线阵相机的分辨率更高。线阵相机每行像素一般为1024,2048,4096,8012;而一般的面阵相机仅为640,768,1280,大于2048的面阵很少见。
- 采集速度: 线阵相机的采集速度更快,线阵相机的采集速度一般是5000 - 60000 行/秒,用户可以选择每几行或每十几行即构成一帧图像进行一次处理,因此可以达到很高的帧率。
- 特点不同: 线阵相机可以对直线运动的物体(印刷品,直线导轨,织物,滚筒上的纸张,传送带上的物体等)进行连续采集。与面阵相机相比,线阵相机不会浪费分辨率采集到无用数据。 面阵相机可以在短时间内曝光,拍动态的物体能够短时间内成像,拍摄出来的效果感觉就是静态的。所以比较运用在一些物体高速运转的行业中。
(2.8)面阵相机选型
面阵相机选型一般情况下需要根据产品的大小来确定相机视野的大小,其次再按照客户需求判断合适的单像素精度来完成监测要求。例如产品尺寸检测,产品的大小为18mm*10mm,精度为0.01mm,那么我们的视野大小可以基本确定在25mm*15mm的范围下,其次要求精度为0.01mm,那么相机单像素精度至少在0.001mm,利用公式可以初步判断出相机最小分辨率,如若不考虑成本的情况下可以扩大分辨率达到更高的更好的检测效果。
分辨率: 长边像素 = 视场长边 / 最小检测精度 * 短边像素 = 视场短边 / 最小检测精度
单像素精度:实际检测精度 = 视场长边 / 像素长边
3.镜头

镜头为了搭配相机使用,所以镜头的接口尺寸是有国际标准的,共有三种接口型式,即F型、C型、CS型。F型接口是通用型接口, 一般适用于焦距大于25mm的镜头;而当镜头的焦距约小于25mm时,因镜头的尺寸不大,便采用C型或CS型接口
(3.1)镜头的种类
- 广角镜头:焦距小于标准焦距50mm的。例如:16mm 景深宽,聚焦距离更近
- 远距照相镜头:焦距大于标准焦距50mm的:例如:75mm 景深浅,放大远距离物体
- 变焦镜头:焦距有范围,例如:35-70mm
- 微距镜头:图像的大小= 物体的尺寸(1:1)
- 远心镜头:没有透视变形
(3.2)工业镜头参数
- 视场(Field of view, 即FOV,也叫视野范围) :指观测物体的可视范围,也就是充满相机采集芯片的物体部分。(视场范围是选型中必须要了解的)

- 工作距离(Working Distance,即WD):指从镜头前部到受检验物体的距离。即清晰成像的表面距离(选型必须要了解的问题,工作距离是否可调?包括是否有安装空间等)
- 分辨率:图像系统可以测到的受检验物体上的最小可分辨特征尺寸。在多数情况下,视野越小,分辨率越好。
- 景深 (Depth of view,即DOF):物体离最佳焦点较近或较远时,镜头保持所需分辨率的能力 (需要了解客户对景深是否有特殊要求?)
景深
光圈、镜头、及拍摄物的距离是影响景深的重要因素:
- 光圈越大(光圈值f越小)景深越浅,光圈越小(光圈值f越大)景深越深。
- 镜头焦距越长景深越浅、反之景深越深。
- 主体越近,景深越浅,主体越远,景深越深。
- 焦点(focus):从物体不同部分射出的光线,通过镜头之后,聚焦在底片的一个点上,使影像具有清晰的轮廓与真实的质感,这个点就叫焦点
- 焦距(f):焦距,是光学系统中衡量光的聚集或发散的度量方式,指从透镜的光心到光聚集之焦点的距离。亦是照相机中,从镜片中心到底片或CCD等成像平面的距离。较常见的有:8mm,15mm,24mm,28mm,35mm,50mm,85mm,105mm,135mm,200mm等(需要记住的公式) f={工作距离/视野范围长边}X CCD长边
焦距
焦距大小的影响情况:
- 焦距越小,景深越大; 焦距越小,畸变越大;
- 焦距越小,渐晕现象越严重,使像差边缘的照度降低;
- 失真(distortion):(衡量镜头性能的指标之一) 又称畸变,指被摄物平面内的主轴外直线,经光学系统成像后变为曲线,则此光学系统的成像误差称为畸变。畸变像差只影响影像的几何形状,而不影响影像的清晰度。
失真 - 光圈与F值 光圈是一个用来控制镜头通光量装置,它通常是在镜头内。表达光圈大小我们是用F值,在快门速度(曝光速度)不变的情况下, F后面的数值越小,光圈越大,进光量越多,画面比较亮,焦平面越窄,主体背景虚化越大; F后面的数值越大,光圈越小,进光量越少,画面比较暗,焦平面越宽,主体前后越清晰。

- 光学放大倍率: 用于计算主要缩放比例的公式如下: PMAG = 感光芯片长边尺寸 (mm) / 长边视场 (mm)

总结:
机器视觉是一个通过计算机系统模拟人类视觉功能,以实现物体识别、跟踪和目标识别的技术领域。机器视觉系统通过图像采集设备获取图像,然后通过图像处理和分析算法来提取出有用的信息。随着人工智能技术的不断发展,机器视觉已经成为了智能制造、智慧城市、智能交通等多个领域的重要应用技术。
应用领域
机器视觉技术广泛应用于自动化生产线、质量检测、智能交通、安防监控、医疗诊断、农业智能化等领域。在制造业中,机器视觉技术可以用于自动化生产线上的零件识别、装配定位、表面质量检测等方面,大大提高了生产效率和产品质量。在安防监控领域,机器视觉技术可以用于人脸识别、目标跟踪等方面,为公共安全提供了有力的支持。
技术组成
机器视觉系统主要由图像采集设备、图像处理和分析算法、人机交互界面等部分组成。其中,图像采集设备主要包括工业相机、镜头、光源等,用于获取高质量的图像数据。图像处理和分析算法主要包括图像预处理、特征提取、目标识别等步骤,用于提取出有用的信息。人机交互界面用于展示处理结果和控制系统参数。
发展趋势
随着人工智能技术的不断发展,机器视觉技术也在不断进步。目前,机器视觉技术的发展趋势主要包括以下几个方面:高分辨率、高速度、高精度;深度学习技术的应用;3D视觉技术的发展;多传感器融合技术的应用;以及跨学科领域的应用研究。
挑战与前景
虽然机器视觉技术已经取得了很大的进展,但是仍然存在一些挑战和问题需要解决。例如,如何提高图像采集的质量和稳定性、如何提高处理速度和精度、如何应对复杂环境和动态目标等问题。不过,随着技术的不断进步和应用领域的不断拓展,机器视觉技术的前景非常广阔。未来,机器视觉技术将会在更多的领域得到应用,并成为智能化时代的重要支撑技术之一。
未来展望
未来,机器视觉技术的发展将主要集中在以下几个方面:
1. 深度学习技术的进一步应用:深度学习技术在图像识别和处理方面具有强大的能力,未来将会在机器视觉领域得到更广泛的应用。通过深度学习技术,可以实现更快速、更准确的图像识别和处理,提高机器视觉系统的智能化水平。
2. 3D视觉技术的发展:目前,2D视觉技术已经得到了广泛应用,但是3D视觉技术在许多领域仍然具有很大的应用潜力。未来,3D视觉技术将会在智能制造、智慧城市、医疗诊断等领域得到更多的应用。通过3D视觉技术,可以实现更全面的物体识别和场景感知,提高机器视觉系统的智能化水平。
3. 多传感器融合技术的应用:多传感器融合技术可以将不同类型和来源的传感器数据进行整合和处理,提高数据的质量和可靠性。未来,多传感器融合技术将会在机器视觉领域得到更多的应用,进一步提高机器视觉系统的智能化水平。
4. 跨学科领域的应用研究:机器视觉技术是一个涉及多个学科领域的综合性技术,未来将会在更多的跨学科领域得到应用和研究。例如,生物医学工程领域的研究可以通过结合机器视觉技术和医学影像技术来提高医学诊断的准确性和效率。
5. 人工智能技术的进一步发展:人工智能技术是机器视觉技术的核心支撑技术之一,未来随着人工智能技术的进一步发展,将会推动机器视觉技术的不断进步和应用拓展。例如,基于人工智能技术的数据分析和挖掘可以将大量的图像数据转化为有用的信息和知识,为决策提供有力的支持。