opencv3和qt5计算机视觉应用开发_【光电视界】计算机视觉技术在零件识别中的应用...-CSDN博客

今日光电

有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。欢迎来到今日光电！

----与智者为伍为创新赋能----

“ 中国制造 2025”战略提出要大力推进 “两化”融合，使生产制造过程高度自动化与智能化。近年来，随着人工智能相关技术的不断发展，计算机视觉技术在制造业扮演着越来越重要的角色，通过计算机自主学习的能力让制造过程更加精确化和智能化。

计算机视觉技术用摄像头和处理器来模拟人的眼睛和大脑，接收真实世界的视觉信息，例如图片、视频等，通过传统图像处理方法或者机器学习模型对目标物体进行特征提取、转化和识别，具有硬件成本低、识别准确度高、无接触性等优势。采集物体的视觉信息并进行运算和分析，将图像信息转化为计算机可处理的数字信号，并产生反馈信息指导自动化设备的智能生产或者管理，在工业领域中，视觉算法通常用于零件的精密测量、外观缺陷与磨损检测、自动分拣系统、备件库图像检索等。

如今工业企业中使用的零件种类繁多、数量巨大，在诸多场景中都需要对零件进行自动识别，例如自动化生产线中的零件分拣系统，如果采用人工分拣模式则存在效率低、错误率高等问题，基于计算机视觉的零件识别方式打破了传统人工分拣的缺陷，能够更加高效、客观和准确地对零件进行识别，提升生产效率。因此研究基于计算机视觉的零件识别算法具有非常重要的应用价值和意义，本文主要对计算机视觉相关技术，以及其在零件识别中的应用情况进行研究和探索，并对未来的发展趋势进行展望。

1. 计算机视觉技术分析

计算机视觉的核心在于图像处理，图像处理中的难点在于特征提取，特征提取指的是从图像中提取出物体特征，如人脸的皮肤颜色、边缘轮廓、关键点等，特征提取决定了接下来的图像分类或检测的效果。其中特征提取方式主要分为人工设计特征的提取算法和深度学习自动提取特征的方法。 1.1 人工设计特征的提取算法人工设计特征提取算法主要指针对特定任务精心设计算法对图像进行特征提取，其中 SIFT(尺度不变特征变换)是比较经典的特征提取算法，属于局部特征的描述算子，原理是在不同的尺度空间中查找图像关键点，并消除光照和噪声的影响，找到边缘点、角点等特征，SIFT 算法具有稳定性和不变形，能够适应图像缩放、旋转以及亮度变化，且特征向量匹配速度快。同时， HOG(方向梯度直方图)也是常用的提取方法，其思想是一副图像中局部物体的外观和形状能够被边缘方向的密度分布来描述，而梯度通常存在于物体的边缘，通过计算图像的局部区域的梯度直方图来生成特征，被广泛应用于行人检测任务。其他传统特征提取方法还有 ORB、HAAR 等，其中 ORB 算法具有尺度不变形和旋转不变形等优点，而且能够快速检测和提取图像特征点，运算速度上比 SITF快很多；HAAR 是一种对图像中的物体或目标进行检测的算法，主要针对刚性物体检测，常被应用于人脸检测任务。

1.2 深度学习方法

可以看出传统的人工设计特征算法，其算子需要人为凭借经验设计，其设计中只有少量参数，往往要经过几年才能出现一个被广泛接受的特征提取算法。随着图片数据的激增，传统特征提取方法很难提取出海量图片数据中隐含的信息，而深度学习方法打破了人工设计特征的瓶颈，能够从大量样本中自动地提取对任务有用的特征，提取过程完全不依赖人工设计。2012 年，8 层的

AlexNet 网络在 ImageNet 图片分类挑战赛中的分类错误率相比传统特征提取方法降低了近一半，目前深度学习方法在绝大多数视觉识别任务上的效果都远远超过了传统的人工设计特征方法。

深度学习将更深层次的神经网络应用于计算机视觉，提取图像的抽象特征，从 AlexNet 开始，相关学者从网络结构和网络深度来不断提升深度神经网络的效果，例如 Inception 网络用于捕捉不同尺度的特征，2015 年提出的深度残差网络(ResNet)通过拟合残差的方式来训练更深的网络，随后密集网络(DenseNet)被提出用于提取更隐含的图像特征，而且 DenseNet 支持特征复用、结构简单。深度学习在图像分类任务上取得了显著的效果，同样地在语义分割、目标检测等领域也得到了广泛的应用，例如 R-CNN 作为经典的基于深度学习的目标检测网络，其利用卷积神经网络(CNN)对候选搜索区域进行特征提取，然后使用支持向量机进行区域分类，极大地提升了检测效果；SSD是一种针对多类别的单次检测器，因识别速度快而被广泛应用；此外从 YOLOV1 到 YOLOV4系列，将图像物体检测看作回归问题，直接从整张图片预测边缘坐标，标注框中包含物体的置信度，并且能够提取更加抽象的物体特征，整个流程使用端到端来优化检测性能，因此识别速度很快。

2 基于计算机视觉的零件识别

机械零件识别是计算机视觉在工业领域中是一个重要应用，指识别图像中的零件类型，最开始用于生产过程中对零件进行定位和分类，代替重复的人工劳动。根据图像特征提取方式的不同分为基于特征提取算子的方法和基于深度学习的方法。

2.1 基于特征提取算子的方法

基于特征提取算子的方法通常分为几个步骤：第一，对图像进行预处理，图像的质量决定了识别算法的精度，图像预处理目的是剔除图像中的冗余信息，提取有用的真实信息，增强可检测性，通常的处理操作有灰度化、几何变换和图像增强；第二，图像分割，将图像中的物体分割出来，减少无关背景对识别算法的影响，一般分为图论分割方法、聚类分割方法和语义分割方法；第三，特征提取，提取出图像中对识别有用的特征，常用的方法有 SIFT、HOG 等；最后，将提取到的图像特征输入到机器学习分类器中，完成对图像的分类。通常来说，决定识别效果的主要因素是特征提取阶段。从上个世纪 50 年代开始，国外就对二维图像的模式识别进行了研究，在零件分类识别任务中， Almouhamed M 提出了一种基于缩放不变形的平面轮廓识别算法，并且在遮挡场景下对机械零件的轮廓片段进行匹配，是一种具有强鲁棒性的形状匹配方法。 LJ Xiwe 等人为了完成工业零件的在线分拣工作，使用多个 USB 摄像头从多角度捕获传送带上的零件图像，使用 Otsu 算法对图像进行二值化处理，然后进行轮廓提取和连接的组件标记，计算工业零件的圆度和颜色信息，通过将圆度和颜色信息与之前人工建立的标准模板进行比较，该方法严重依赖于人工标准模板，因此识别的零件种类不多。 B Liu 对图片进行边缘检测并选取合适的转矩特征，然后搭建 BP 神经网络对零件进行分类。在国内方面，任楷飞等人在 LabView 开发环境下提出了一种基于灰度值金字塔的模式匹配算法，对图像进行灰度化后经过高斯滤波处理，在特定的模型参数下和模板图像进行匹配。司小婷等人对零件图片进行了识别和定位的研究，从零件的几何、形状和多轮廓特征对待识别零件和零件模板进行匹配，然后使用最小外接矩形来定位零件。匡逊君对零件图片提取 HU 不变矩和仿射不变矩，并进行组合使得图像具有平移、缩放、选择不变形，然后针对训练样本少且特征维度高的问题，采用核参数的支持向量机(SVM)以及有向无环图设计的多分类器对零件进行分类。袁安富针对零件自动识别系统效率低的问题，提出了基于 SURF 的零件识别算法，SURF 是 SIFT的变种，主要是为了解决 SIFT 算法在 DOG 构建和极值计算时效率低下的问题，SURF 使用 Hessian 矩阵来检测极值以及用小波转化来计算关键点，将 SURF 得到的特征向量用最临近算法搜索和模板图像最接近的零件图像。冯长建通过傅里叶描述子提取零件的形状和轮廓信息，将得到的高维向量用主成分分析进行降维，然后用支持向量机进行分类，但是分类的零件较为简单(螺母、螺栓和垫圈等)。综上所述，基于特征提取算子的方法核心在于特征提取算法的设计，由于此类算法的设计需要很丰富的专家经验，所以目前主流的方法均基于经典的、经过时间验证且成熟的特征提取算法。其次大多数方法需要和模板图像进行比对，因此标准模板的设计也很关键。

2.2 基于深度学习的方法

随着工业制造的发展，需要快速地对纷繁复杂且数量庞大的零件类型进行识别，基于特征提取算子的方法需要精心设计提取算法，无法适用于海量的零件识别，并且为每种零件设计标准图像模板工作量巨大，深度学习方法能够避免人工设计特征所带来的工作量和局限性，因此越来越多的工作在利用深度学习自动提取特征的能力对零件进行自动识别。目前深度学习技术在零件识别上应用较少，一方面因为深度学习在工业领域还没未发展成熟，第二个方面因为深度神经网络需要大量的训练样本，对于工业零件识别来说标注工作量太大。

3 结语

传统的人工设计特征进行零件识别的方式无法适用于数据量庞大的机械零件识别，特征提取算子严重依赖于专家经验，虽然深度学习方法能够自动提取图像特征，效果往往也优于传统方式，但是需要大量的人工标注样本。因此未来深度学习在零件识别上所面临的困难是如何低成本地获取海量的训练数据，例如利用机械零件所对应的 3D 模型，从 3D 模型中快速产生大量的平面图像作为训练，并采用一些风格迁移算法缓解真实图片和 3D投影平面图的视觉差异。

本文来源论文：计算机视觉技术在零件识别中的应用——马敬