AI视觉赋能工业质检应用与实践

最新推荐文章于 2025-03-07 20:42:25 发布

小天才学习机打游戏

最新推荐文章于 2025-03-07 20:42:25 发布

阅读量2k

点赞数 28

文章标签：人工智能知识图谱金融 pdf 剪枝

本文链接：https://blog.csdn.net/m0_59164520/article/details/144568478

版权

随着新型工业化的推进，工业对生产自动化、工作效率、安全生产、产品质量等提出更高要求。缺陷检测作为产品质量检测的关键环节，检测精度和效率至关重要。目前缺陷检测仍以人工为主，主观依赖性强，存在检测标准不统一且效率低下的问题；同时人口红利渐消，劳动力资源渐少，企业逐步面临人工成本高的挑战，对质检技术的转型升级有迫切需求。

当前新一代信息技术快速发展，人工智能技术逐步从理论走向工业领域的应用实践，通过工业知识和数据科学的紧密结合，能大幅提升对问题的洞察与判断，为生产环节的智能化决策提供支撑。其中，机器视觉已成为人工智能赋能工业最为活跃的技术，通过机器视觉赋予生产制造“智慧之眼”，模仿人类视觉能力，对所“见”物体开展精准识别、定位、测量等操作。

当今，基于神经网络的深度学习算法技术在机器视觉领域加速应用，提升了视觉技术的工程效果。典型的深度学习网络如卷积神经网络，可以从输入数据中学习到抽象的本质的特征信息，对高维数据有较强学习能力，但计算复杂度随网络层数增加而增加；深度置信网络，有较强的扩展性，适合对图像进行多分类、识别处理，但依赖专家经验；全卷积网络，可以接收任意尺寸的图像且可对其进行像素级分割，在此基础上获得高层语义先验知识矩阵，但对图像的细节信息不敏感且收敛较慢；Transformer结构，在训练效率、图像分类、分割等任务中取得优异效果，成为学习序列数据的通用框架。

深度学习算法能够在相对理想的条件下解决视觉感知问题，然而该技术对数据规模和计算资源要求较高，当前已有研究大都聚焦于理论与实验层面，在工业落地生产中，面临如下挑战：

（1）工业部件结构复杂，材质属性多样，难以采集缺陷高表现力的图像数据。

（2）工业缺陷类型繁多且微小，无明显规律特征，检测准确度不高。

（3）视觉质检应用复杂且资源消耗大，成本高难以落地应用。

针对以上问题，本文从实际作业需求出发，对视觉成像、检测算法以及工程部署等关键技术开展研究，采用多特征成像光学策略保障数据质量，融合半监督与自监督算法实现缺陷的精准识别，并基于 AI 视觉平台实现模型轻量化部署，降低应用成本，打造了一种高效可靠的高精度视觉质检体系，赋能工业产线需求，助力智能制造。

1 AI 视觉质检关键技术

1.1 整体架构

如图1所示，本系统基于AI视觉检测平台，建立图像感知、缺陷检测模型、以及模型部署的全流程质检体系。根据客户对于检测精度、工作节拍、网络参数的需求，在工厂现场端对接产线搭建图像信息采集系统，通过工业网关进行数据采集和获取，将数据推送至云端平台，在平台侧基于检测模型对数据进行分析后将结果发送至端侧，同步更新缺陷检测模型。数采、训练、推理工作部署在云边端各环节中的不同位置，形成逻辑空间上协同。

图 1 AI 视觉检测体系架构

1.2 AI 视觉平台架构

AI 视觉平台是质检体系的核心，通过接口调用的形式提供设备接入、数据管理、算法 / 模型开发、模型部署等功能，可适配不同场景的检测需求，降低质检应用落地的门槛。AI 视觉平台架构如图 2 所示，由边缘层、PASS 层、MAAS 层和 SAAS 应用层组成。以轻量化、弹性伸缩、容器化为基础，进行工业多元场景数据的统一接入与分析，沉淀AI 基础算法能力，将通用模型算法与特定应用需求解耦，提供可复用、可扩展的 AI 能力服务。可快速实现特定场景的快速微调、训练、迭代与发布。

图 2 AI 视觉平台架构

1.3 工业图像数据采集

光学成像是视觉检测的基础，采集图像的质量是后续图像特征识别的关键。然而工厂光照环境多变、工件结构复杂、工件材质多样等问题造成图像质量难以稳定。为此，本文搭建多特征光学成像采集系统，确保工件的全方位采集；并建立光学效果评价体系，指导光学参数调优。从根源解决数据质量问题，具体介绍如下：

（1）多特征光学成像

工件通常涉及表面缺陷、内部缺陷以及三维缺陷信息的检测，可概括为 “面特征”成像、“孔特征”成像以及“轮廓尺寸特征”3D 成像。为避免缺陷漏检，本文设计了全方位、多特征的图像采集系统，如图 3 所示，使用协作机械臂挂载多套视觉成像设备，使用面阵相机、线阵相机和 3D 激光传感器，通过搭载 FA 镜头和远心镜头对表观和三维特征进行不同程度的观测；对于有凹陷结构如孔洞等的工件，镜头无法深入探测，则配备工业内全景镜头进行内壁面检测。由机械臂进行环绕成像，确保工件无死角图像采集。

图 3 视觉图像采集系统

（2）光学参数自动调优

错误的光学参数设置可能会导致图像模糊、过曝、缺少目标区域等问题，因此成像效果评价方法的研究对于质检系统的稳定运转至关重要。本文将视觉感知特性与深度学习相结合，对图像不同区域给予不同关注，提高关键信息的利用率。

通过模拟人类视觉系统的感知来判断工业质检中的图像是否适合后续缺陷检测。方法架构如图 4 所示，首先对工件图像进行主观打分，构建数据集；之后引入视觉显著机制生成显著性图，并结合Transformer 特性提取图像全局高层信息特征；将获取的视觉显著性图与输出的全局特征融合，最终通过全连接层映射为质量分数评价结果。利用网格法罗列光源、相机的所有参数组合，并采用全自动轮询的方式拍摄不同参数设置下的工件图片，通过质量评价体系对图片集评级后选取最合适的硬件参数设置方案。

图 4 融合视觉感知特性的光学评价框架

1.4 AI 检测算法

工厂对劣品检出率要求严格，然而现实生产中缺陷数据样本少、缺陷形态多样、且存在大量微小缺陷，对检测模型提出了挑战。针对该问题，本文采用半监督、自监督融合方式，构建神经网络学习非缺陷制品的特征，并以教师 - 学生网络结构通过逆蒸馏实现对缺陷敏感的编码器与对缺陷不敏感的解码器。当图像不含缺陷时，编码器的特征与解码器的特征服从同一分布；反之，在缺陷图像中，二者特征存在较大差异，因此可将差异部分作为缺陷并进行缺陷定位，具体介绍如下。

如图 5 所示，缺陷检测模型包含教师网络（编码器）、学生网络（解码器）、单类瓶颈编码器、投影层。

图 5 缺陷检测模型框架

（1）网络输入为非缺陷数据时，直接计算教师网络和学生网络特征之间的相似性来训练学生网络，使用余弦相似性作为蒸馏损失，使得学生网络和教师网络在非缺陷数据上可提取同分布特征。

（2）缺陷数据作为输入时，将教师网络提取特征通过投影层映射，并结合对比损失，经过掩码辅助消除缺陷特征，使得解码器的输入特征不含有缺陷相关特征，由此保证解码器对缺陷数据不敏感。

实际推理时，逐层获取教师网络与学生网络的对应特征并进行余弦相似度对比，将所有层的相似度进行融合获取最终差异特征比对图，图中若有差异则表明数据含有缺陷，差异大的位置则作为缺陷的定位。

1.5 轻量化工程部署

在多产线、多种类、多批量的质检范式下，数据中心化的 AI 落地方案成本高昂，难以应用。为此，本文提出模型轻量化的方案，旨在通过降低模型复杂度和计算需求，实现边缘侧的高效部署。

在 AI 视觉平台中，构建了基于泛化式模型精炼的算法压缩过程，使视觉检测模型具备更好的边缘侧部署性能和适应性。平台内置的泛化式模型精炼模块支持视觉算法库的阶段性更新，并允许在检测设备部署过程中根据实际需要替换算法的主干网络，从而得到多个轻量化视觉模型的重组。在模型重组过程中，逐层分析不同模型的特征层，通过特征融合与裁剪等技术，确保重组后的模型在继承各个教师模型优点的同时，实现进一步的轻量化和性能优化。泛化式模型精炼能够自主生成定制化、全能型的轻量化边缘侧模型，实现知识的深度融合，并显著提高视觉检测模型的性能与效率。

2 视觉质检应用测试

汽车行业是支撑国家经济发展的支柱行业，中国汽车行业的总产值约占全国 GDP 总量的 10%，是视觉应用的主力行业。汽车生产过程中涉及大量的自动化引导和质量控制环节，同时由于零部件种类多、尺寸各异、检测环境不一等因素，对产品检测精度要求极高，亟需 AI 工业视觉技术提高质量及效率。

将本文所提出的质检解决方案在汽车轮毂场景中进行测试，轮毂生产过程常出现焊渣、起皱、凹坑、变形等缺陷，工件表面为多曲面高反光材质且结构复杂。针对该检测场景，采用 AI 视觉平台对质检系统进行快速部署，现场如图 6（a）所示，分为正面检测、反面检测、轮辋检测三个工位，由机械臂进行位置调控，实现工件表面的全方位高质量数据采集，由检测模型对图像数据进行缺陷识别，检测效果如图 6（b）所示。

图 6 汽车轮毂 AI 视觉质检测试

采用精确率 P 和召回率 R 作为检测效果的评价指标，计算公式如下：

P=TP/（TP+FP）（1）

R=TP/（TP+FN）（2）

式中，TP 为检测检出为缺陷的数量，FP 为误检为缺陷的数量，FN 为漏检测的数量。

表 1 视觉质检应用测试结果

检测结果如表 1 所示，对于三个检测工位，召回率均为100%，即本方案不会出现漏检现象，符合对于工件质量的严格高标准要求。然而，准确率在 80%~90%，表明存在良品工件被识别为劣品工件的问题，需要人工对检出轮毂进行复筛。虽然该解决方案需要人工复检保障工件筛选的准确率，但相较于纯人工质检产线，大幅缓解了对人工的需求，具有实际应用价值，可有效助力工业制造的数智化转型。

3 结束语

随着机器视觉技术的快速发展，工业质检正经历由传统向现代的转变。在 AI 视觉赋能生产的过程中，视觉质检也面临数据、模型、以及部署等诸多挑战。本文基于 AI 视觉平台，从视觉成像、模型优化、以及轻量化等方面建立视觉质检体系，实现高精度、高效率、低成本的质检解决方案，推动视觉质检的落地应用。同时，系统具有较高的通用性和泛化性，可进行规模化推广与应用。未来将持续探索 AI 视觉技术的应用优化，促进传统产业走向高端化、智能化、绿色化。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述