MVS-工业视觉学习-笔记

       

        本文章用于记录自己在学习MVS软件时的见解。

基础知识

相机成像原理

CCD&CMOS

市面上大部分相机芯片都是CMOS，CCD较少，或将被淘汰。

CCD

芯片直接捕获环境光，且芯片面积较大，CCD通常只有一个输出节点，所以要通过串行的方式将每一个像素的电荷进行传输，经过A/D转换模块得到图像

CMOS

芯片捕获环境光时，每个像素上都有A/D转换模块，得到的是电压信号，所以成像速率要快，因为每个模块上都有A/D转换模块，所以芯片面积要小。

从上图可以看出，CCD只有一条输出节点，所以速率不如CMOS。

量子效率

从上图曲线看，黑白相机感光芯片在受光600纳秒时转换效率最高，而彩色相机每种颜色的转换时机和效率最高值是不一致的。

根据我的猜测在拍摄彩色图片时，如果在550纳秒时记录图像，那么相机在红色的呈现上面会不是很好。

Smear（漏光）

因CCD结构缺陷，再拍摄强光时，会出现左图的漏光现象，而CMOS不存在这种缺陷，由此看来在分析使用环境时，应注意这一点。

命名规格

海康面阵相机命名规则

海康线阵相机命名规则

海康红外相机命名规则

相机接口介绍

以下成本比较高

分辨率

分辨率决定着图像的精细程度，分辨率越高，成像越清晰。

在我们之前的按键手机，拍照后进行放大，会看到一个个模糊的小方框，这个就是因为分辨率较低，图像的细节没有被感光芯片记录。图像越清晰，占用的内存也就越大。

分辨率 = 水平方向像素数 * 垂直方向像素数

ROI功能

在我们进行图像识别时，如果取景范围比较大，相机硬件又没法继续放大，我们可以在取景画面标注一片区域，告诉相机，我只需要这个范围的图像，其它请忽略。

指定ROI区域是有一定好处的，相机接收的画面较小，处理速度就越快，但分辨率就会变低，图像精度降低，所以，根据实际需求使用。

曝光调整

曝光有两种方式，软曝光（相机内部处理）、硬曝光（调整镜头），用于提高画面亮度，使拍画面更清晰。

曝光时间

相机在拍照时会记录环境光，

曝光时间是指感光芯片暴露在环境的时长，时间越久感受到的光就越多。

需注意:
Exposure Auto(自动曝光)节点可能在触发模式下被隐藏，即部分型号相机不支持触发模式下自动曝光。

曝光方式

不光快门有全局和卷帘，曝光也有区分全局曝光和卷帘曝光。

如果被拍摄物体移动较快，不适合卷帘曝光。

像素格式

像素格式即图像的色彩，有Mono、Bayer、RGB、YUV等。

不同相机支持的像素格式也不同，一般的相机都是RGB彩色、Mono黑白。

比如：Mono 10  ，第一个标识黑白，第二个数值标识位深，10就是把最暗和最亮中间分成10个梯度，数值越大，画面的对比度越好，单位是bit。

扩展知识，一般位深数据用16位bit来表示，Mono 10，占用10个bit位，会有6个bit位空闲，我们可以在后面增加packed来使用12bit存储器来存储。

根据下图可以看出来RGB是数据量最大的。

帧率

打游戏的同学应该熟悉fps，即画面每秒的刷新次数，相机帧率越高，拍的图片就越多，

可以在帧率控制中打开帧率控制使能（红色），拍照帧率设置为蓝色，显示帧率为绿色。

影响帧率的因素

每一帧的读取时间；

曝光时间太长；

像素格式，颜色越丰富，帧率就不会高；

带宽，网线的传输速率也会影响到帧率；

ADC位深，画面质量越高，帧率越低

解决方法

使用图像压缩技术，降低每帧大小；

修改像素格式；

调整曝光时间；

检查数据包大小，

检查网线速率（在控制面板-更改网络适配器选项）

用户参数存储

相机可以保存4套参数，其中一套为相机出厂值，不可更改，也就是说用户可控的参数就3套。

AOI

选定一个AOI区域，可以对选定的区域进行画面亮度的调整，如果是彩色相机还可以额外调整白平衡。

在使用AOI之前，先确定连续自动曝光是打开状态，打开后设置好AOI参数，相机会根据算法自动增加亮度。

设置过程

AOI亮度调整效果

在没有光源或环境光微弱时，效果还是非常不错的。

AOI白平衡调整效果

在某些情况下彩色图片失真时，可以通过调整白平衡来进行优化，使画面更符合需求。

Binning

Binning，中文解释是装箱，就是将多个像素点进行合并。

从上图我们可以看出来原来的4*4的分辨率，合并后变成了2*2，我们在合并时可以选择垂直合并或水平合并，

优点：

        降低分辨率后传输文件更快；

        提高图像信噪比，从而提升图像质量；

        分辨率降低后细节减少，画面亮度更高。

不同相机的binning功能不同，使用时按实际情况来设置。

效果展示

Binning VS 下采样

有基础的同学应该知道下采样功能，也是类似的降低分辨率的方式来减小图片的体积和分辨率，不过两者还是有区别的，下采样是从多个像素中抽取一个像素，而Binning是将多个相邻的像素叠加，使画面亮度提升，

虽然看起来Binning更强大一点，但是下采样是可以提高相机的帧率的。

TEC

用物理的方式，给相机降温。

原理

物理化学好的可以了解一下，

使用步骤

不是所有相机都有这个功能，按实际情况。

采集模式

相机拍照有两种模式，单帧/连续。

单帧：只采集一次，即拍一张照片；

连续：相机开始工作后，会实时拍照，每秒拍多少张，由实时帧率决定（帧率和网线、分辨率等有关系）；

在属性中找到相关设置，并按需要调整。

测试模式

通过设置，让相机回传一些测试画面，通过接收端对画面的分析，来确认相机及其配件的可靠性。

镜像

相信大家都不陌生，将画面水平翻转，或者垂直翻转。

部分相机可能没有垂直翻转；

当像素格式为Bayer格式时，使用镜像功能会改变像素格式，但不影响图片效果。

原图

水平翻转

垂直翻转

无损压缩

部分相机支持无损压缩，经过压缩后的图像体积会变小，再经过PC端的海康SDK进行还原，即可提高相机的传输效率，相当于将电脑的性能牺牲了一部分，但影响不大。

从图片来看，两种模式各有优点。

效果演示

通过下图看出，相机带宽是有明显下降的，但Burst模式功耗高会让相机温度升高。

设置步骤

下采样

采样，即取其中一部分，拍出来的图片，根据设置参数，对图片的对应像素进行舍弃，比如原来4个像素点，我只要一个像素就够了。

要注意的是，水平像素和垂直像素采样参数和图像的丛横比要一致，否则图像发生畸变。

原理

提高相机采样速度。

缺点：降低图片分辨率，提高相机帧率。

效果

从效果图可以看出，图像亮度没有降低，帧率和带宽降下来了。

Bayer

Bayer图像，是相机感光芯片上最原始的数据，即每个像素感受到环境光的强度。

感光芯片（Sensor）上的每一个像素点只能感受光的强度，在每一个像素点上加上特定的滤光片，使它只能感受一种光的强度，那感光芯片收到的原始数据就叫做Bayer图像；

我们的世界是五颜六色的，所以需要加上其它颜色的滤光片（三原色：黄、绿、红），因为人眼对绿色比较敏感，绿色感光像素比红绿感光像素要多；

以一个2X2的像素阵列举例，其中有2个绿色，红蓝各1个。通过相机内部拟合为对应颜色，得到一幅彩色图像。

Bayer插值方式

我们可以手动调整插值方式，分别有快速、均衡、最优；

在调整后，经过对比图像，选择最优的插值方式；

结果对比

从下图可以看出来，最优的插值方式是最好的，纹理特征比较明显。

LUT

全称（LookupTable）查找表，即告诉计算机需要什么颜色，计算机通过对照表输出对应颜色，我们可以通过修改此表来使拍到的画面呈现出想要的颜色，比如想要灰度强一点就可以把其中的input数据该成想要的output数据。用来强化想要的，弱化不想要的。

效果图

设置步骤

结果对比

修改前

注意右下角折线变化

修改后

注意右下角折线变化

白平衡

如果我们的图片拍出来红光特别重，应像我们分析结果，我们可以通过调整白平衡，使画面的红光减弱，呈现出正常的颜色。

原理解释（不一定要钻研透）

调整步骤

分析

打开RGB功能

将鼠标悬停画面非曝白处（不能过于白），查看RGB值，可以看出来第一个数值比较高，分别代表红色（R）、绿色（G）、黄色（B）。

得出结论，需要降低红色敏感度。

设置步骤

效果展示

调整前

调整后

如果自己调整后画面还是不太好，可以降低一下其它颜色的数值，多尝试一下。

如果相机拍出来和实际颜色不符，怎么办？

手动调整白平衡参数，或者拿一张白纸，放到画面上，观察色差，直到修正到正确的参数后，即可完成校正。

曝光

工业相机和普通相机不同；

普通相机可以用机械快门来控制感光芯片的进光时长；

工业相机使用的是电子快门，控制感光芯片的进光时长，就叫做曝光时间，非曝光时间进的光会释放掉，即不记录图像；

我们可以看出，工业相机没有机械快门，拍照的速度肯定是比普通相机要快的。

需要注意运动场景下曝光时间不易太长，会产生拖影，卷帘快门也一样。

像素格式

像素格式可以调整图像的颜色

图像格式可以调整相机拍照后的文件格式，即后缀，如图片保存后，图片1.JPG

Gamma校正

调整Gamma值可以画面看起来更贴合实际，值越高明暗处的对比度就会越大，值越低会看起来有种套了层薄膜的感觉。

为什么会出现

如何调整

饱和度

饱和度是指色彩的鲜艳程度，饱和度越高色彩越鲜明，饱和度越低会让图片显得暗淡。

当拍出来的照片不够生动时，可以调整饱和度。

调整方式

注意：工业相机不是美颜相机，不要在意图片的色彩，只要方便识别，就是好相机。

黑电平

相机在拍照时，部分像素没有被光线照射时，也会有输出电压，因此在图像处理时要减去这部分电压，消除误差。

调整误差就叫做黑电平，我们可以调整图像输出时的灰度值偏移量，决定传感器在不感光时的灰度值。

值越高，图像越暗，值越低，图像会模糊。

调整方式（一般不需要调整）

亮度

亮度会影响图像的清晰度，可以通过自动曝光来增加图像亮度

也可以通过增加外部光源，来使画面更清晰。

相机自动曝光可以选择一次和连续曝光，关闭自动曝光时可手动调整。

关联参数

在调整手动曝光参数时，曝光时间也会随比例调整。

在打开自动增益时，也会随着调整手动曝光参数时而变化。

如果自动曝光和自动增益都打开了，会优先调整曝光，再修正增益。

锐度

增加两个不同物体的对比度，加强边缘的强度，过度锐化会使图像失真，噪声增加，视情况使用。

设置方法

通过增加锐度，可以让我们更容易识别物体的边缘，注意只有Mono（黑白）和YUV模式支持调整锐度。

色调

调整色调可以使原来的红色变成蓝色（黑白不支持色调）。

如下图所示，调整色调为0，红变蓝。

图像质量评判标准。

清晰度

从下图来看，右边的月亮是比较清晰的，但清晰不一定就好用（相对论）。

图像越清晰，图像数据就越大，影响计算机的处理速度，所以我们的相机像素不一定要很高，如下图所示，数据量较小时，自行车就可以完成运输，当数据量过大时，就需要升级装备了，升级意味着成本的提高。

对比度

对比度是指图像中最亮和最暗的差值，差异范围越大，代表对比度越高。

观察下面两幅图片，我们下意识肯定会以为是最右边对比度比较高，实际两个对比度是一样高的，因为对比度是指图像最亮处和最暗处的落差，并不是图片的哪个固定区域，我们人眼会往事物（月亮）上面去看，但实际计算机并不认识月亮，只知道这片范围最亮。

图像在拍摄完成之后再去调整对比度会牺牲暗处的分辨率，来提高亮处的焦点。

色差

每个相机因传感器的结构，拍出来的颜色和人眼有差异，色差是正常的。

在判断色差时，要注意亮度的差别。

饱和度

饱和度可以让人眼看起来更生动。

亮度

亮度太低，会使反光度低的隐身，亮度太高，也会导致一些颜色隐身，视需求而定。

在判断色差时，要注意亮度的差别。

畸变

一般畸变是由镜头引起的，可以通过算法矫正。

噪声

噪声导致拍出来的图像分辨率低，肉眼可见的模糊（马赛克）；

引起噪声可能有镜头焦距、拍照时的抖动、内部热噪声引起的。

噪声可以通过降噪算法来优化，通过查看信噪比来得知噪声的大小。

增益

分两种，模拟增益和数字增益，数字增益比模拟增益的噪声要大，过大时画面会偏红。

增益可以提高画面的亮度。

增益设置

模拟增益

数字增益

关联参数，亮度

外部接线

触发

触发时相机收到内部或外部信号，做出相应动作；

外部触发：通过相机的IO接口，来检测外部命令，也叫做硬触发。还可以通过网络设备进行外部触发，比如PLC通过TCP网络进行触发；

例：给相机IO接口施加一个电压，相机做出对应拍照指令；

内部触发：通过对相机进行编程，达到条件后执行对应拍照命令，也叫做软触发；

触发不一定是拍照，可以是其它动作，像拍照这个就称之为一个动作；

还可以通过计数器来触发，通过累计外部或内部触发的次数，达到设定值时执行一个动作。

软触发设置

可设置触发后延时动作

硬触发设置

可设置触发后延时动作

硬触发多了一个功能（极性），

rising edge 上升沿

当信号线由0（没电）变1（有电）时拍照一次，即使几秒后信号线依然为1，也只是执行一次。

falling edge 下降沿

当信号线由1（有电）变0（没电）时拍照一次，即使几秒后信号线依然为0，也只是执行一次。

any edge

任意上升沿或下降沿都可以触发拍照。

level high

有电时拍照，拍照一次。

level low

没电时拍照，拍照一次。

接口解释

双向IO是指该点位可以是输入，也可以是输出。

输入是给相机这根线一个电压，可以执行动作。

输出是相机可以通过这根线来输出一个电压，输出条件需要自己按需设置。

光耦隔离

可以有效避免因接线错误导致烧坏相机，外部线路和内部处理电路没有直接关系，通过一个发光元件来表示有没有信号，内部通过感光元件来监测该发光元件，达到电路隔离，即使外部接上高电压也只是损坏一个发光元件。

触发缓存

如果触发拍照次数高于相机拍照帧率，比如每秒给相机10个信号，但相机每秒只能拍7张，打开触发缓存后可以让相机多拍一张，打开后可以拍8张，只能缓存一个。

接线方式

接线图

我们可以看出正常的外部IO触发只需要4根线，以PNP接线为例相机电源两根（正极、负极），一组信号（信号的负极、触发信号正极）

如果NPN，把信号正负极颠倒即可。

光耦隔离比非光耦隔离信号传递慢，延迟高。

双向IO（可输入、可输出）和正常接线一样，多了输出功能，但输出的是低电平。

在相机配置界面由触发滤波功能，当触发信号保持时长小于触发滤波时长时会忽略该信号，适用于有电压干扰的情况。

在接线有问题时，可以尝试直接接到对应的电源处，即手动触发，查看相机画面数量有没有变化。以排查问题原因。

 

 个人学习笔记

你可以没文凭，但不能没文化！！！