基于机器视觉的图像处理缺陷检测方法论文学习

基于机器视觉的图像处理缺陷检测方法论文学习

Machine Vision based Defect Detection Approach using Image Processing

Abstract

机器视觉系统用于工业生产领域，以快速、完美和高精度生产产品。这些系统允许用户进行高度精确的非接触式测量，并且可以检测生产过程中的缺陷。本文提出了一种基于机器视觉的印刷电路板非接触缺陷检测算法。在这种检测和控制PCB上的孔的方法中，首先从系统中获取参考图像，并对该图像应用特征提取过程。在这种实时工作方法中，参考图像与输入的测试图像相匹配，PCB上缺失的孔被精确地检测出来。此外，在实验研究中已经确定误差量小于2$\mu M$ 。这种独立于颜色、位置和方向工作的方法使得缺陷检测过程能够非常快速和精确地完成。

Index Terms:机器视觉，图像处理，缺陷检测，印刷电路板，计数。Machine vision, image processing, defect detection, PCB, counting.

I. INTRODUCTION

机器视觉系统包括在工业生产线上进行的观察，通常通过摄像机进行[1]。在这种方法中，不需要任何专业控制，就可以进行产品计数、缺陷检测或尺寸测量等过程[2，3]。使用这些系统，可以进行非常快速、平稳和完美的测量。通过这种方式，生产能力得以提高，完整的产品可以交付给最终用户。随着技术的发展，摄像机和机器视觉系统也在不断改进[4]。由于能够以非常高的速度进行测量的设备的发展，这些系统已经可以在几乎所有的生产设施中使用。此外，机器视觉系统通常是生产线上的首选，以便在不需要任何专业监督的情况下提供完全的无接触控制，从而降低质量控制领域的成本[5，6]。

在工业领域，生产设施的测量通常有两种方式，接触式和非接触式[7]。在接触式测量方法中，操作完全靠视觉来完成，误差量相当大。这种方法的性能非常低，尤其是在需要精确测量的领域。在非接触式测量方法中，这些操作通过一个或多个摄像机和一个机器视觉软件来完成。在这种方法中，可以很容易地检测出产品的不同特征，这种方法根据所使用的计算机系统的性能提供了快速的解决方案[8，9]。在对该主题进行的一项研究中，电子芯片生产的最后阶段由带卷包装过程控制。在这项研究中，开发了一种可以使用多线程和并行编程技术每分钟控制200个芯片的方法。实验研究表明，该方法能够以较高的精度和速度完成运算。[10].Wang等人[11]开发了一种基于机器视觉的自动检测方法。这种控制PCB上的孔的方法决定了诸如孔的数量和缺陷等属性。根据研究中获得的结果，所提出的方法可以以5um的误差率工作。在这种方法中，使用了CCD摄像机、三轴定位系统、光源和计算机。图1显示了本文中实施和使用的实验装置的框图。在Karakose等人[12]进行的一项研究中，对高速运行的工业生产线中的产品进行了计数。所提出的方法基本上是一个背景提取过程，并且已经确定了通过传送带的产品的边界。清点过顶产品的过程也已进行。在实验研究中，已经观察到所提出的方法给出了快速且准确的结果。

在关于该主题的另一项研究中，开发了一种基于视觉的机器人方法来收集和控制小块汽车部件。该研究分为部件识别、基于机器学习的分类、圆形物体的分析和物体的分割。研究中建议的方法经过了实时测试，结果得到了验证[13]。Yang等人[14]研究了输送机上出现的缺陷。通过线阵CCD摄像机获得的输送机图像被传输到主机，并通过图像处理检测输送机上的缺陷。在另一项研究中，对硬币进行了分类。通过移动传送带的硬币已经被检测和计数。使用粒子分类、模式匹配和几何匹配方法来实现所提出的方法的准确性和性能。在该研究中，达到了每分钟1000个硬币的速度，并且达到了大约95%的准确度[15]。机器视觉应用经常用于许多不同的领域。在目前进行的一项研究中，Yaman等人[16]开发了一种基于粒子的铁路优化方法。在这项研究中，用四个不同的摄像机拍摄铁路，并对这些图像应用各种图像处理算法。结果，检测到铁路部件和表面缺陷。在进行的另一项工作中，引入了自动物体计数。在这个提出的方法中，基本上使用了图像采集、预处理、分割和计数的步骤。作为实验研究的结果，确定所提出的方法具有高成功率，并且在图2中给出了总结该研究的框图。[17].

在这项研究中，开发了基于机器视觉的PCB质量控制应用。利用所提出的方法，PCB上的孔被检测、计数并确定缺陷。在这项研究中，PCBs的图像是通过相机拍摄的，并用特定的图像处理算法进行检查。基本上，这种使用Otsu和Hough变换的方法独立于位置、方向和颜色条件来执行检测和检查。为此，本研究的第二部分介绍了拟议方法的步骤和细节。本研究的第三部分给出了实验研究的结果。在最后一节中，将检查结果。

II. PROPOSED APPROACH

在使用机器视觉应用的领域的开始，存在缺陷检测。它旨在确定通过传送带的产品的缺陷，并将完美和完整的产品交付给最终用户。该过程通常涵盖机器视觉应用的最后阶段，在此过程中，缺陷产品被检测出来并从传送带上分离出来。在这项工作中，对象检测，计数和缺陷检测过程主要是为机器视觉应用开发的。所提出的方法实时工作，并识别PCB中的孔，以确定这些产品上是否有任何缺陷。研究中使用的PCBs样本图像如图3所示。

所提出的方法基本上使用特征提取和特征匹配操作。在特征提取过程中使用了Otsu阈值法和Hough变换法。对于参考图像，从该过程获得的结果被保存以备后用。此时，获得了PCB上的孔数、位置和中心信息。将相同的过程应用于该过程之后的测试图像，并且最终与特征匹配过程一起检测PCB上的缺陷。图4给出了概括所提出的方法的步骤的框图

在所提出的方法中，PCB的图像首先通过照相机拍摄。该图像被传输到主机，并执行图像处理算法。在算法的第一步中，通过转换颜色空间将RGB图像转换到YUV颜色空间。在此转换之后，获取图像的过程在此通道上执行。从RGB色彩空间到YUV色彩空间的转换在等式1中给出。

在所提出的方法的下一步中，通过使用高斯滤波器来消除图像中的噪声。执行该操作的数学表达式在等式2中给出。

在算法的下一步中，使用Otsu阈值法将图像转换为二值图像。该方法自适应地确定图像的最佳阈值。使用阈值方法的原因是为了能够清楚地显示图像中的所有细节。将Canny边缘提取方法应用于使用Otsu方法获得的图像。此时，图像中的所有边缘都被精确定义[18]。在这个过程之后，对图像应用形态学过程。此过程会使生成的图像边缘变粗。这一过程在文献中称为黑帽，如公式3所示。

在所提出的方法的最后一步中，对图像应用霍夫变换。利用霍夫变换精确识别和标记图像中的孔洞。此外，图像中的孔的数量、位置和直径通过这种变换来确定。该信息用于测试图像中的特征匹配。在这一点上，可以检测每个新图像中的缺失孔，并且可以识别有缺陷的产品。研究中使用的霍夫变换伪码如图5所示[19，20]。

所提出的方法基本上由8个步骤组成。然而，在这个过程之后，特征匹配方法被用于测试阶段。这样，不仅可以控制PCB上的孔数量，还可以控制它们的位置。因此，有缺陷的产品在系统中被分离。

III. EXPERIMENTAL RESULTS

研究中获得的结果是从能够实时操作和测量的实验装置中获得的。一台摄像机集成在系统中，该系统具有机动化结构，可以沿三个轴移动。摄像机持续监控表面并收集图像。使用这种一次最多可拍摄60帧的相机，PCB的图像可以立即传输到主机。摄像机和主机之间的连接通过以太网提供。该照相机的细节在表1中给出。在主机上，可以检测和测量PCB的机器视觉应用程序正在运行。所提出的方法是使用OpenCV实现的，图6给出了总结研究中使用的实验设置的框图。

在所提出的方法中，针对不同的条件执行测试程序。这种算法可以独立于方向和位置工作，可以完美地检测PCB上的孔。训练数据的示例图像处理结果在图7中给出。

从图7中可以看出，所提出的方法基本上包括8个步骤。首先，从图像捕捉开始的过程以检测PCB上的孔结束。检测到的孔的数量、坐标和中心信息被记录下来用于测试操作。图7中给出的结果显示了训练过程的结果。

在PCB的机器视觉应用的测试过程中，应用了特征匹配过程。图7中给出的步骤被应用于测试图像。将该过程后获得的特征与从训练数据中获得的特征进行比较，并确定产品的缺陷。图8给出了所提出方法的这一步骤的样本测试结果。

在开始部分提到的为建议方法执行的测试程序适用于不同的条件。特别是，对来自不同地点的图像进行了测试操作，并获得了成功的结果。这些测试的样本结果如图9所示。

IV. CONCLUSIONS

如今，机器视觉应用频繁用于许多工业生产线。这些应用用于各种目的，例如物体计数、缺陷检测和测量，提高了生产线的生产能力并生产出接近零缺陷的产品。

本文提出了一种基于机器视觉的缺陷检测方法。利用这种提出的方法，确定PCB上的孔的数量和位置，并且检测缺失孔的数量和位置。使用研究范围内设计的图像处理算法对通过实时摄像机拍摄的图像进行分析，并进行特征提取。在对测试图像执行相同的操作后，使用特征匹配方法检测产品上的缺陷。在提出的方法中，图像是用集成在能够在三个轴上操作的系统中的照相机拍摄的。基本上，Otsu阈值和Hough变换已经被使用，并且具有自适应结构的系统已经被建立。实时获得的实验结果表明，所提出的方法提供了非常快速和有效的结果。