【大作业-23】使用YOLOV9进行PCB板缺陷检测

肆十二

已于 2024-10-05 11:43:03 修改

阅读量897

点赞数 16

分类专栏：大作业系列文章标签：课程设计 yolov9 PCB 缺陷检测深度学习

于 2024-10-03 21:57:09 首次发布

本文链接：https://blog.csdn.net/ECHOSON/article/details/142696823

版权

大作业系列专栏收录该内容

27 篇文章 62 订阅

订阅专栏

使用YOLOV9进行PCB板缺陷检测

视频链接：【大作业-23】使用YOLOV9进行PCB板缺陷检测_哔哩哔哩_bilibili](https://www.bilibili.com/video/BV1KHp2eREFZ/)

本次教程依然是YOLOV8教程的延续，我们本次主要使用YOLOV9对PCB板进行缺陷检测，包含数据的处理、模型的训练、测试以及图形化系统的构建，在图形化的系统中我们通过点击按钮的形式即可完成对训练好的模型的调用。

如何执行该项目

为了防止有的小伙伴找不到项目配置的地方，我直接将项目配置放在了前面，后面是一些报告和实验结果的分析。

环境配置

环境配置这块我这边只列举了指令，考虑到大部分好兄弟看的时候多少有点疑惑，这里我建议大家按照视频来进行执行更加方便。

镜像加速

conda config --remove-key channels
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

创建和激活虚拟环境

conda create -n torch python==3.8.5
y
conda activate torch

安装torch

conda install pytorch==1.8.0 torchvision torchaudio cudatoolkit=10.2 # 注意这条命令指定Pytorch的版本和cuda的版本
conda install pytorch==1.10.0 torchvision torchaudio cudatoolkit=11.3 # 30系列以上显卡gpu版本pytorch安装指令
conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cpuonly # CPU的小伙伴直接执行这条命令即可

在项目目录下执行其他库的安装

# 注意这条指令一定要在你的项目目录下执行。
pip install -v - e .

ok，使用pycharm打开之后并启动即可起飞。

模型训练

模型训练之前请务必将您的数据集路径切换为您本地的数据集路径。

训练的代码如下，直接右键执行即可。

import time
from ultralytics import YOLO
# yolov8n模型训练：训练模型的数据为'A_my_data.yaml'，轮数为100，图片大小为640，设备为本地的GPU显卡，关闭多线程的加载，图像加载的批次大小为4，开启图片缓存
# model = YOLO('yolov8n.pt')  # load a pretrained model (recommended for training)
# model = YOLO("yolov8n.yaml").load("yolov8n.pt")   # load a pretrained model (recommended for training)
model = YOLO("yolov9s.yaml").load("../../pretrained/yolov9s.pt")   # load a pretrained model (recommended for training)
results = model.train(data='A_my_data.yaml', epochs=100, imgsz=640, device=[0,], workers=0, batch=4, cache=True)  # 开始训练
time.sleep(10) # 睡眠10s，主要是用于服务器多次训练的过程中使用

模型测试

测试的代码如下，换成你自己训练好的模型之后也是直接右键执行即可。

from ultralytics import YOLO

# 加载自己训练好的模型，填写相对于这个脚本的相对路径或者填写绝对路径均可
model = YOLO("runs/detect/yolov8n/weights/best.pt")

# 开始进行验证，验证的数据集为'A_my_data.yaml'，图像大小为640，批次大小为4，置信度分数为0.25，交并比的阈值为0.6，设备为0，关闭多线程（windows下使用多线程加载数据容易出现问题）
validation_results = model.val(data='A_my_data.yaml', imgsz=640, batch=4, conf=0.25, iou=0.6, device="0", workers=0)

图形化界面开发

图形化界面我们依然使用的是pyside6进行开发，只需要在这个位置换成你训练好的模型路径即可。

右键运行启动之后即可上传图像或者视频进行检测。

背景和意义

电路板（Printed Circuit Board, PCB）是现代电子设备的核心组成部分，广泛应用于各种工业和消费类电子产品中。PCB制造的质量直接影响电子设备的性能和稳定性。然而，由于制造工艺复杂，电路板在生产过程中可能会产生各种缺陷，如焊点不良、短路、断路、元件错位等。这些缺陷如果不及时发现和修复，可能导致产品失效，甚至造成严重的经济损失。

传统的电路板缺陷检测依赖于人工检测或基于规则的机器视觉系统。人工检测耗时费力，效率低下且容易受人为因素影响。基于规则的视觉系统虽然能提高效率，但面对复杂和多变的缺陷类型，常常表现出不足。因此，近年来，深度学习技术，特别是基于卷积神经网络（CNN）的目标检测算法，逐渐成为解决这一问题的重要工具。

将YOLO应用于电路板缺陷检测具有以下几方面的意义：

高效性和实时性：YOLO的端到端架构能够在一次前向传播中同时完成目标的定位和分类，这使得它在目标检测任务中具有极快的推理速度。对于工业生产中的在线缺陷检测，实时性是至关重要的。相比于其他方法，YOLO能够在保证精度的同时，以更快的速度进行缺陷检测，确保生产线的连续性。
提高检测精度：YOLO经过多年的改进（如YOLOv5, YOLOv8等），已经能够在复杂背景下精确检测微小目标。在PCB检测任务中，许多缺陷较小且形态多样，YOLO能通过其多尺度检测能力，显著提高检测的精度和稳定性。
智能化与自动化：基于YOLO的电路板缺陷检测可以大幅减少对人工的依赖，降低检测成本，并提高检测的客观性和一致性。同时，自动化检测系统能够与生产线无缝集成，显著提高生产效率。
应对复杂缺陷类型：YOLO模型具备强大的泛化能力，能够检测多种类型的缺陷，无需为每一种缺陷类型编写单独的检测规则。这使得它在面对电路板上多种多样的缺陷时，表现出更好的适应性。
推动智能制造发展：基于YOLO的电路板缺陷检测技术是智能制造领域的重要组成部分。它推动了工业生产向自动化、智能化方向发展，有助于提升电子制造业的整体技术水平，增强产业竞争力。

本文所使用方法-yolov9

在追求最优实时目标检测的过程中，YOLOv9凭借其创新的方式，成功克服了深度神经网络中固有的信息丢失挑战。通过集成可编程梯度信息（PGI）和通用高效层聚合网络（GELAN）架构，YOLOv9不仅增强了模型的学习能力，还确保了在检测过程中关键信息的保留，从而实现了卓越的准确性和性能。

结构图来源：divided7/yolov9_structure_graph (github.com)

YOLOv9的核心创新

YOLOv9的进步深深根植于解决深度神经网络中信息丢失的挑战。信息瓶颈原理和可逆函数的创新使用是其设计的核心，确保了YOLOv9在保持高效率的同时也能保持出色的准确性。

信息瓶颈原理

信息瓶颈原理揭示了深度学习中的一个基本挑战：随着数据通过网络的连续层，信息丢失的可能性增加。这一现象可以用数学公式表示为：

I(X, X) >= I(X, f_theta(X)) >= I(X, g_phi(f_theta(X)))

其中，I表示互信息，f和g分别为带有参数theta和phi的变换函数。YOLOv9通过实现可编程梯度信息（PGI），应对这一挑战，帮助在网络的深度中保留关键信息，确保生成更可靠的梯度，从而提高模型的收敛性和性能。

可逆函数

可逆函数的概念是YOLOv9设计的另一个基石。一个函数如果可以在没有任何信息丢失的情况下被反转，则被认为是可逆的，其表达式为：

X = v_zeta(r_psi(X))

其中，psi和zeta是可逆函数及其逆函数的参数。这一性质对于深度学习架构至关重要，因为它允许网络保留完整的信息流，从而使模型参数的更新更加准确。YOLOv9在其架构中引入了可逆函数，以降低深层次信息退化的风险，确保在目标检测任务中保留关键信息。

对轻量模型的影响

对于轻量模型，解决信息丢失问题尤为重要，因为这些模型通常参数较少，容易在前向传播过程中丢失大量信息。YOLOv9的架构通过使用PGI和可逆函数，即使在精简的模型中，也能确保关键信息得到保留并被有效利用，从而实现准确的目标检测。

可编程梯度信息（PGI）

PGI是YOLOv9引入的新概念，用于应对信息瓶颈问题，确保在深层网络中保留关键信息。这使得网络能够生成可靠的梯度，促进模型的准确更新，并提升整体检测性能。

通用高效层聚合网络（GELAN）

GELAN代表了YOLOv9在架构上的战略性进步，它实现了更优的参数利用率和计算效率。其设计允许灵活集成各种计算模块，使YOLOv9能够适应广泛的应用场景，而不会牺牲速度或准确性。

实验和实验结果分析

实验结果全部保存在了这个目录下面，对于每个图的解释可以参考这里的视频：手把手教你用YOLOv8训练自己的数据集（原理解析+代码实践）_哔哩哔哩_bilibili

在你的报告中只需要将这些图依次贴出来然后进行说明即可。

我给你打个样，这里大家直接kimi就完事了，免费还好用。

从你提供的图片内容来看，这是一个关于YOLOv9模型在电路板缺陷检测任务中的精确度-召回率（Precision-Recall Curve）图和一些关键指标的汇总。

分析Precision-Recall Curve

Precision（精确度）：预测为正的样本中实际为正的比例。
Recall（召回率）：实际为正的样本中被预测为正的比例。

在PR曲线中：

x轴表示召回率。
y轴表示精确度。

从图中可以看出：

当召回率从0增加到1时，精确度从1逐渐下降到0。
曲线的形状通常反映了模型在不同阈值下的表现。

具体缺陷检测结果

表格中列出了不同缺陷类型及其对应的精确度：

missing_hole：0.995
mouse_bite：0.889
open_circuit：0.957
short：0.962
spurious_copper：0.925
spur：0.782

综合分析

高精确度：missing_hole 和 short 的精确度非常高，接近1，说明模型在检测这些缺陷时非常准确。
中等精确度：open_circuit、spurious_copper 和 mouse_bite 的精确度在0.89到0.96之间，表现良好。
低精确度：spur 的精确度为0.782，相对较低，可能需要进一步优化。

平均精度（mAP@0.5）

mAP@0.5：所有类别的平均精度在0.5的IoU阈值下为0.918，这是一个相对较高的表现。

结论

YOLOv9在电路板缺陷检测任务中表现良好，尤其是在检测missing_hole和short缺陷时。对于spur缺陷，模型的精确度较低，可能需要进一步的数据增强或模型调优。

如果需要进一步优化模型，可以考虑以下方法：

数据增强：增加更多spur缺陷的训练样本。
模型调参：调整模型的超参数，如学习率、批大小等。
后处理：使用更复杂的后处理方法来提高精确度。

希望这些分析对你有所帮助！如果还有其他问题，请随时告诉我。

结论和展望

结论

将YOLOv9应用于电路板缺陷检测任务中，可以有效提升检测精度、速度以及对复杂缺陷类型的识别能力。YOLOv9的创新点，如可编程梯度信息（PGI）和通用高效层聚合网络（GELAN），成功解决了深度神经网络中的信息丢失问题，使得即使在小目标或背景复杂的电路板图像中，模型仍能保持较高的检测准确性。此外，YOLOv9的轻量化设计和可逆函数的应用，确保了在保持高检测效率的同时不牺牲信息的完整性。

在实际的电路板检测场景中，YOLOv9表现出了以下几方面的优势：

高精度与低延迟：YOLOv9不仅在缺陷检测的准确性上表现出色，还能够以较低的推理时间实现实时检测，非常适合工业流水线的在线缺陷检测。
强大的泛化能力：通过PGI和GELAN等架构创新，YOLOv9能够有效应对电路板上多种复杂缺陷的检测任务，涵盖了从焊点不良到微小的短路、断路等多种缺陷。
模型轻量化：YOLOv9在不增加过多计算成本的前提下，保留了关键特征，确保了在嵌入式设备和资源有限的硬件环境中的可应用性。

展望

未来，YOLOv9在电路板缺陷检测领域的应用有着广阔的前景，特别是在以下几个方面：

更精细的多任务检测：YOLOv9未来可以扩展到不仅检测缺陷的位置和类型，还可以实现更精细的多任务目标检测，如同时检测多个缺陷或识别缺陷的严重程度。这将为更加全面的电路板质量检测提供技术支持。
结合其他深度学习技术：YOLOv9的架构可以与其他深度学习技术（如Transformer、注意力机制）进一步结合，以提升其对复杂背景和微小目标的检测能力。特别是在应对高度复杂的电路板设计时，增强模型的上下文理解能力将大有裨益。
无监督学习与少样本学习：未来，YOLOv9可以结合无监督学习或少样本学习方法，减少对大量标注数据的依赖。这对于处理少见或新出现的电路板缺陷特别有用，能够帮助模型自动学习新的缺陷特征，提升检测的广泛性和灵活性。
工业4.0与智能制造的融合：YOLOv9在电路板缺陷检测中的应用有助于推进智能制造的发展。通过与工业物联网（IIoT）和自动化生产线的深度集成，YOLOv9可以为大规模生产提供实时、自动化的缺陷检测解决方案，显著提高生产效率和产品质量。

总的来说，YOLOv9不仅在当前的电路板缺陷检测中展示了强大的技术优势，也为未来的智能制造和自动化质量检测带来了更多的可能性。未来的研究可以在提升模型精度、减少数据依赖以及拓展实际应用场景等方面进行探索。