机器视觉开发入门

课程链接：【【免费公开】【机器视觉开发入门】德创机器视觉“启航计划”(_)带你从小白成为初级视觉工程师！】 https://www.bilibili.com/video/BV1q14y1575U/?share_source=copy_web&vd_source=02bc97f394cbb8da4a97b40a6c11606b

01-机器视觉导论

PART 01机器视觉初识

PART 02机器视觉行业发展

PART 03机器视觉系统组成

PART 04机器视觉应用认知

01机器视觉初识

• 人类对视觉的认识

• 什么是机器视觉

• 机器视觉的作用

机器视觉是指利用光学器件和图像处理技术，使计算机能够“看见”并理解图像信息，从而实现对机器和过程的自动控制。这一领域结合了光学、计算机科学、自动化和人工智能等多个学科，广泛应用于工业自动化、质量检测、机器人导航等领域。

机器视觉初识

人为什么能看到世界？

世界第一台相机

1822年,法国的涅普斯在感光材料上制出了世界上第一张照片，成像不太清晰，曝光需要八个小时。

1839年，法国的达盖尔制成了第一台实用的银版照相机，它是由两个木箱组成，把一个木箱插入另一个木箱中进行调焦，用镜头盖作为快门，来控制长达三十分钟的曝光时间，能拍摄出清晰的图像。

什么是机器视觉？

机器视觉是使用光学器件进行非接触感知，自动获取和解释一个真实场景的图像，以获取信息和(/或)控制机器或过程。

什么是机器视觉

机器视觉是通过使用光学器件和图像处理技术，让机器能够“看到”并理解周围环境，从而执行特定任务。它通过摄像机和光学传感器捕捉图像，利用计算机处理图像数据，提取有用信息，并根据设定的算法作出相应决策。

机器视觉有什么作用？

机器视觉是将图像处理应用于工业自动化领域进行非接触检测、测量，提高加工精度、发现产品缺陷、进行自动分析决策的一项技术，是先进制造业的重要组成部分，发挥着不可替代的作用。

02机器视觉行业发展

• 机器视觉发展历程

• 机器视觉行业现状

• 机器视觉市场与人才需求

机器视觉行业发展

机器视觉发展历程——世界

①萌芽期

只有高端科学研究和航天军工项目

没有形成完整的机器视觉概念

②起步期

机器视觉的概念首次在产业界产生

1980年后第一批机器视觉公司

CCD传感器与工业相机公司

软件算法公司：美国康耐视

③成长波动期

1990年半导体产业发展,国际上涌现一批规模不大的机器视觉新公司

成像技术和算法力发展不成熟,系统成本非常高，产业进入成长波动期

④发展早期

2000年后, CPU技术提升和FPD等产业发展促进了机器视觉发展

⑤发展中期

2010年后以人工智能赋能的机器视觉开始在智能制造发力，得到了空前发展

机器视觉发展历程——中国

①萌芽期

中国70年代后，由国防军工率先开始机器视觉应用研究（引导、探测)

80年代后开始逐步应用到航空/航天及高端科研等研究

90年代出现机器视觉代理企业，主要从事视觉器件及技术的代理服务

②起步期

2000年后中国的机器视觉开始起步,并且出现一批专业的机器视觉公司

涉及的业务主要有:人民币印钞质量检测、烟草异物剔除、邮政分拣

③发展初期

2009年以苹果手机加工制造为核心的3C电子制造产业需求巨大,直接推动中国机器视觉高速发展

在2009-2015年，产业中批量涌现出了近百家机器视觉新公司，包括很多自动化设备及安防监控的公司

④发展中期

AI算法的发展促进中国机器视觉进去发展中期

2010年之后整个产业近十年持续着20%-30%的增速，在2020年成为与欧洲体量相当的重要板块

机器视觉产业链

机器视觉市场规模

资料来源：GGII、智研咨询整理

• 近年来，我国机器视觉行业市场规模不断增长，2021年2D视觉增长到104.81亿元，预计到2025年将增长到311亿元。

• 截止2020年，进入中国的国际机器视觉品牌已超过200多家本土机器视觉品牌已超过100多家；各类产品代理商已超过300家，系统集成商也已超过100家。

• 中国机器视觉企业主要位于广东、上海、北京、江苏和福建等地。

机器视觉人才需求

截止目前，中国已经连续10年保持世界第一制造大国，机器视觉作为第四次智能化科技革命的典型载体，为机器植入眼睛和大脑，让机器取代人工，帮助制造业实现自动化和智能化，是现代化制造的刚需，智能制造的关键引擎。 中国的人工智能人才缺口达百万，其中半数需要视觉的知识和技能，高校的机器视觉专业呼之欲出。

资料来源：网络资料整理

机器视觉系统组成

04机器视觉应用认知

机器视觉四大应用

机器视觉应用领域认知

机器视觉四大应用

机器视觉四大应用——引导

机器视觉四大应用——检测

机器视觉四大应用——测量

机器视觉四大应用——识别

机器视觉应用领域

机器视觉应用领域——汽车行业

机器视觉应用领域——电子行业

机器视觉应用领域——半导体行业

机器视觉应用领域——食品行业

机器视觉应用领域——新能源行业

机器视觉应用领域——物流行业

机器视觉应用领域——医疗/医药行业

2-机器视觉行业应用与典型案例

机器视觉行业发展领域

 汽车行业

消费电子

手机外壳尺寸测量方案

机器视觉检测一般分为静态检测和动态检测两种，动态检测速度不同，难易程度也不同；

本案例中，产品运动速度：80mm/s，产品精度：0.005mm；

食品饮料行业

物流行业

3D视觉

深度学习

3-相机基础参数

上节回顾

1.机器视觉应用领域:检测、测量、识别、引导

2.机器视觉主要流程:拍摄图像→处理图像→根据结果输出信号

硬件

PART 01   相机成像原理

PART 02  相机主要参数

视觉是如何实现的？

小孔成像

• 原理：当物体放置在一个带有小孔的板前时，小孔后面的屏幕上会形成物体的倒像。这种现象被称为“小孔成像”。随着物体和小孔之间距离的变化，成像的大小也会变化。

• 关键点：光沿直线传播，

前后移动中间的板,像的大小也会随之发生变化；

人眼成像

我们看到的景物是因为我们的眼睛可以接受其反射的可见光。外界物体反射来的光线，经过角膜、房水，由瞳孔进入眼球内部，再经过晶状体和玻璃体的折射作用,在视网膜上能形成清晰的物像,刺激视网膜上的光感应区，光感应区包含柱状细胞、锥状细胞以及视网膜色素上皮细胞。这些感光细胞产生的神经冲动,最终形成电讯号,沿着视神经传到大脑皮层的视觉中枢，就形成视觉。

工业相机成像

人们利用“小孔成像”原理制造各类光学成像装置,这种装置被称为"Cameraobscura (暗箱) " ;

Camera obscura被认为是照相机的祖先，而"Camera"则成了照相机的英文名称;

照相机的成像原理即来源于小孔成像，镜头是智能化的小孔，通过复杂的镜头组件实现成像距离。

工业相机成像

工业相机是通过CCD或CMOS成像传感器将光信号转变为有序的电信号，并将这些信息通过相应接口传送到计算机。

相机传感器

CCD电路结构

优点

CCD的电路结构简单；

图像质量好。

缺点

制造工艺复杂，成本高；

会产生高光溢出现象。

CMOS电路结构

互补性氧化金属半导体(Complementary Metal- Oxide Semiconductor)

优点

每个成像单元独立，支持并行读取，速度快；

大规模集成电路，功耗低；

支持异步触发；

工艺成熟，制造成本低。

缺点

结构电路复杂，易引入噪声。

这是什么传感器？

CMOS

CCD

到最下面一行，统一输出

CCD与CMOS芯片特征比较

02相机主要参数

图像的参数：分辨率、像素、灰度、颜色模型、图像噪点

相机的基本参数

分辨率

线阵相机与面阵相机

        线阵相机依赖机械运动获取图像。面阵相机则通过二维像素阵列一次性获取图像。

线阵相机与面阵相机

线阵相机：必须通过机械运动才获得想要的图像。

应用于视野为细长的带状或者要求极高的精度,在连续检测的领域应用广泛,比如金属、塑料、纤维等。

分辨率

芯片尺寸

        芯片尺寸表示传感器的物理大小，通常以英寸表示。芯片尺寸越大，感光能力越强，噪点控制能力越好。

曝光

正确曝光→控制曝光量

感光度（ISO值）

快门（电子快门）

光圈

相机主要参数

感光度：衡量对光的灵敏程度

ISO  800 (2017年）以下为低感光度

ISO  800-6400（2017年）属于中感光度

ISO  6400 (2017年）以上是高感光度

ISO值变大：提高曝光程度

ISO值变大： 提高曝光程度

快门
​​​​​​​        快门控制传感器曝光的时间

拍摄运动状态下的物体，选择何种快门方式？

快门

多数CCD和CMOS都会采用全局快门方式,也有些CMOS会采用卷帘快门方式。

帧率

该参数描述芯片可在每秒钟拍摄与传输的图像数量。

帧率越高，也就是说每秒能够拍摄更多图像，传输更高的数据量。

电子快门时间可由用户自己设置，但是相机传输速率即帧率是固定的。因此，帧率是相机成像速度的“瓶颈”。例如电子快门速度可达

1/1000s，但成像却只能60帧/秒。

黑白相机

工作原理：黑白相机中的每个像素仅采集亮度信息。这意味着它只能记录物体的明暗程度，而不记录颜色信息。

彩色相机

工作原理：彩色相机使用Bayer滤色片来让每个像素采集特定的色彩分量。Bayer滤色片通常是由红、绿、蓝三种颜色组成的马赛克图案。每个像素只采集其中一种颜色，然后通过后期处理电路将这些信息重建成全彩色图像。

黑白相机

每个像素仅采集亮度信息

特点:比相同分辨率和同级别后期处理电路的彩色相机精度更高；由于没有覆盖Bayer滤色片，其在弱光下的灵敏度也更高。

彩色相机

借助一个Bayer滤色片让每个像素来采集图像特定的色彩分量，然后利用后期的电路再重建出真实色彩。

相机数据传输方式

数据传输方式对比

 工业相机都有哪些重要的参数呢？

• 分辨率：分辨率决定相机能够捕捉到的细节程度。更高的分辨率意味着图像的细节更加丰富。

• 帧率：帧率表示相机每秒能够拍摄和传输的图像数量。高帧率适合拍摄快速移动的物体。

• 传感器类型和尺寸：传感器的类型和尺寸决定了相机的感光能力。较大的传感器通常具有更好的光线捕捉能力和更低的噪点。

• 曝光控制：控制曝光量可以确保图像的亮度适中。自动或手动的曝光控制是相机成像的重要功能。

• 数据接口：相机的数据接口类型决定了图像传输的速度和距离。不同的接口有不同的应用场景。

• 光圈和ISO：光圈大小和ISO感光度影响相机在不同光线条件下的表现。光圈越大，进光量越多；ISO越高，相机对光的敏感度越高，但同时也可能增加噪点。

4-相机选型

Day1-课时04相机选型案例

PART 01  问题提出

PART 02  案例导入与流程讲授

PART 03  实战练习

01问题提出

判断步骤

型号的含义

参数的含义

问题提出

实际应用中如何选择合适的工业相机？

问题提出

判断步骤

选择相机时的关键步骤和考虑因素：

1. 静态拍照还是动态拍照（快门方式）

   • 根据需要拍摄的对象是静止还是运动，选择适合的快门方式。静态拍摄通常使用全局快门，而动态拍摄可能需要使用卷帘快门以避免运动模糊。

2. 拍摄的频率是多少（帧率）

   • 根据拍摄对象的速度和检测要求，确定所需的帧率。高帧率适用于快速移动的物体，而低帧率则适用于静止或缓慢移动的对象。

3. 产品的大小（视野）是多少，精度要求和分辨率

   • 计算视野范围和分辨率要求，以确保相机能够覆盖整个检测区域，并且具备足够的分辨率以满足精度需求。

4. 功能是做缺陷检测还是尺寸测量，或者是定位

   • 不同的检测任务可能需要不同类型的相机。例如，尺寸测量可能需要高分辨率的相机，而缺陷检测可能需要高动态范围的相机。

5. 黑白还是彩色

   • 视检测任务而定。如果检测对象包含颜色信息，选择彩色相机；否则，选择黑白相机。

6. 数据接口

   • 根据数据传输的距离和速度要求，选择合适的数据接口，如GigE、USB3.0、CameraLink或CoaXPress等。

02案例导入与流程讲授

行业导入

案例导入

计算流程

案例导入与流程讲授

行业导入

汽车电容器和电阻器一样，几乎每种汽车电子电路都离不开电容器

在汽车点火时，通过电动机的瞬间电流非常大，对电池的影响也很大，汽车电容器可以使得部分瞬间电流由电容提供，保护了汽车电池;取得更好的音响效果高音时需要的电流非常大,汽车电容可以在高音时保护电池，并消除点火时cd或dvd重启的故障.

案例导入1

计算流程

常用相机像素：30 130 200 500 1000 1200 2000 单位W

①视野（FOV）：

检测范围110mm×27mm，视野范围需要比待检测范围大，常用视野长宽比例为4：3，所以选取视野范围160mm*120mm

②像素精度：

通常每个字符的笔画宽度需要大于或等于十个像素，所以像素精度为0.5/10=0.05mm/piexl

③分辨率：

长边160/0.05=3200pixels，宽边120/0.05=2400piexls，则分辨率至少为3200*2400,可选用1000万像素的工业相机

④彩色or黑白

检测区域包含多种颜色，选用彩色相机

选择相机：1000万像素，分辨率3860*2748

案例导入2

计算流程

①视野：

产品大小18mm10mm,视野大小可选择20mm15mm (考虑每次机械定位的误差,将视野比物体适当放大)

②像素精度：

公差要求±0.05mm，则精度达到0.1mm，通常像素精度为0.1/10=0.01mm/piexl

③分辨率：

视野长边20/0.01=2000pixels，视野宽边15/0.01=1500piexls，则分辨率至少为2000 * 1500piexl,至少选用300万像素的工业相机

④彩色or黑白

尺寸测量无需颜色,选用黑白相机

此外检测速度10件/秒，选择帧率至少为10帧/秒，全局快门

最终选择相机： 500万像素，分辨率2448*2048

行业导入

连接器是一种连接电气端子以形成电路的耦合装置。

借助连接器可实现电线、电缆、印刷电路板和电子元件之间的连接。各种连接器产品的组合可以在最严苛的环境中、最极端的使用情形下可靠地传输数据、电力和信号，在降低应用规模和功耗的同时可实现更高的性能。

练习

计算流程

①视野（FOV）：

PIN针所在区域为67mm8mm，常用视野长宽比例为4:3，视野假设为72*54mm

②像素精度：

由于需要对产品质量进行稳定性分析，通常像素精度为公差带的十分之一： 1/10=0.1mm/piexl

③分辨率：

长边72/0.1=720pixels,宽边54/0.1=540piexls,则分辨率至少为720*540选用130万像素的工业相机

④：彩色or黑白

PIN针位置度不需要彩色，选用黑白相机

最终选择相机：130万像素，分辨率1280*960

课程回顾

通过工业相机的选型，你对相机各项参数的运用是否更加熟练了呢？

5-镜头基础参数

Day1-课时05 镜头工作原理及主要参数

目录

PART 01工业镜头工作原理

PART 02工业镜头的参数

PART 03其他特殊镜头

01工业镜头工作原理

工业镜头的作用

凸透镜成像

定焦镜头

工业镜头工作原理

问题提出

工业镜头的工作原理是什么？

工业镜头作用

镜头就是实现光束变换（调制），镜头的质量直接影响到机器视觉系统的整体性能,合理地选择和安装镜头,是机器视觉系统设计的重要环节。

工业镜头作用

镜头：近似一个凸透镜，目的是将光线集中于成像芯片上。

相机+镜头：照射在物体上的光经过漫反射通过凸透镜将物体的像成在相机的芯片上，相机控制芯片曝光后将光信号转换成有序的电信号，最终形成物体的像。

凸透镜成像

定焦镜头

02工业镜头的参数

工业镜头的参数

焦距

 

焦距：在光学设备中，指透镜中心到相机芯片的距离。通常以mm为单位。

聚焦：调节聚焦环，使成像清晰的过程。

调光圈：调节光圈环，改变通光孔径的大小，调整图像亮暗。

放大倍率

工作距离(WD)：镜头前端到拍摄平面的距离。

视野

添加接圈，让相机变清晰

视野（FOV）：镜头所能拍摄的实际物理范围。

如何调节FOV?

（1) FOV与WD的关系

结论：

在同一镜头下：

WD越大，FOV越大；

WD越小，FOV越小。

如何调节FOV?

(2) FOV与CCD的关系

结论：

同一物距，像距下

CCD越大，FOV越大； 

CCD越小，FOV越小。

(3) FOV与焦距的关系

结论：

同一物距下：

Lens曲率半径越大，焦距越大，FOV越小

Lens曲率半径越小，焦距越小，FOV越大。

1.工作距离

2.焦距

3.CCD尺寸

结论：

1.相似三角形关系

2.视场角：

工作距离越大，视场角越大；

焦距越大，视场角越小；

CCD尺寸越小，视场角越小。

光圈

调光圈：调节光圈环，改变通光孔径的大小，调整图像亮暗。

光圈值

光圈值/相对孔径：表征亮暗。光圈大小的参数。等于镜头的焦距→镜头通光直径。

（最常见的光圈值：F2、F2.8、F4、F5.6......）

光圈

光圈除了影响曝光，还会影响什么？

哪张是用大光圈拍摄的图像呢?

景深

景深（DOF）：聚焦平面前后仍然有一段可以清晰成像的距离，这段距离叫做景深。

结论：光圈：光圈越大，景深越小；光圈越小，景深越大。

焦距：焦距越长，景深越小；焦距越短，景深越大。

工作距离：工作距离越小，景深越小；工作距离越大，景深越大。

分辨率

分辨率(Resolution):镜头记录物体细节的能力,以每毫米里面能够分辨黑白线对的数量为计量单位。(Ip/mm)

镜头接口

常用接口

镜头尺寸

镜头能兼容的最大传感器尺寸（Sensor Size）。

03其他特殊镜头

远心镜头

变焦镜头 

液态镜头

其他特殊镜头

远心镜头

畸变

远心镜头

远心镜头

普通镜头  注1:越靠近视野边缘畸变越明显。焦距越短的镜头畸变越明显。

远心镜头  注2：超低畸变

滤光片 只允许相同的光线进入，偏正片  消除反光

变焦镜头

液态镜头

液态镜头:液态镜头是一种使用一种或多种液体制成的无机械连接的光学元件,可以通过外部控制改变光学元件的内部参数,有着传统光学透镜无法比拟的性能。通过使用图像软件可自动化捕捉焦距范围内的画面

1.对于光学镜头的不确定性,纯电路可量化的液态镜头对焦更加准确，光学数据更精准；

2.它可以实现几毫秒内在不同焦距的迅速转换，这无疑是自动对焦系统的理想组件;

3.由于镜头本身没有任何移动的部件，所以它更能抵抗振动，冲击；

4.其能够在一定程度上降低相机模组的体积和重量，也能够降低本体的重量;

5·液态镜头由于不需要过多的玻璃镜片作为光路传输的路径,在体积缩小的同时实现一体化的设计方案;

6.液态镜头不需要额外的机械装置让其保持聚焦状态，只需要极小的电压即可实现变焦和定焦，理论上也会更加省电

课程回顾

工业镜头都有哪些重要的参数呢？

6-镜头选型

Day1-课时06镜头选型案例

01问题提出

参数含义

判断步骤

问题提出

如何选择合适的工业镜头？

实际应用中如何选择合适的工业镜头？

参数含义

问题提出

判断步骤 

02案例导入与流程讲授

案例导入

计算流程

案例导入与流程讲授

案例导入1

相机的选型

计算流程1

①镜头类型：

测量类项目，PIN针精度要求高，首选低畸变的远心镜头，为定倍镜头

②倍率：

③远心镜头：

根据放大倍率=0.18、相机芯片尺寸1"

可以选取放大倍率为0.184的DTCM110-90-AL,

兼容最大靶面尺寸1"

④工作距离：

根据选取的镜头，同客户确定可以安装的工作距 离WD=208±3mm

案例导入2

计算流程1

①镜头类型：

仅需要实现检测或识别，无需进行测量，用普通的定焦镜头即可

②焦距：

如图所示可得到公式

视野长边H=160mm,相机芯片尺寸为6.4 mmx 4.6mm,即芯片长边h=6.4mm

同客户确定镜头可以安装的工作距离范围,可确定用于计算的工作距离为WD=400mm

焦距f = WD x h/H = 400x6.4÷160=16mm

③定焦镜头：

根据计算焦距=16mm、相机芯片尺寸1/2.3"

可以选取焦距为16mm，兼容最大靶面尺寸2/3"的定焦镜头

03实战练习

练习

产品情况：

普通带螺纹工件,放在固定机械治具内同方向流过，需要测量产品长度

区域大小：

18mm*10mm

精度要求：

0.1mm/piexl

视野（FOV)：

20mm*15mm

像素精度：

0.01mm/pixel

分辨率：

500万像素工业相机

靶面尺寸：

2/3" (8.4mm*7.1mm)

计算流程

①镜头类型：

测量产品长度，定焦镜头会产生畸变，影响测量结果，故选用远心镜头

②倍率-远心镜头：

视野长边H=20mm 芯片长边h=8.4mm

放大倍率β=h/H=8.4÷20=0.42

可以选择放大倍率为0.42左右的远心镜头

课程回顾

通过工业镜头的选型，你对镜头各项参数的运用是否更加熟练了呢？

7-光学基础与光源参数

目录

PART 01  认识光源

PART 02  常见LED光源

PART 03  光源应用

01认识光源

光谱

光源种类

认识光源

光谱

光源种类

白织灯、线灯、荧光灯、LED灯

常见LED光源

有时间继续更新