基于yolov10的PCB检测算法研究

目前项目取得研究生电子设计大赛国赛三等奖。

内容：项目将YOLOV10创新后的PCB检测算法成功部署到GD32H757上，实现PCB缺陷的工业产线实时检测。

项目主要支持开源代码：HomiKetalys/gd32ai-modelzoo: Provide deployable deep learning models on gd32 (github.com)

（想了解将AI模型部署到边缘MCU设备上，比如STM32/GD32，可以跟着这个开源项目学习）

目前有图像分类，目标检测模型。这个模型库有如下特点：

• 开箱即用，深度适配keil5工程，可以将模型直接部署进keil5工程中，无需复杂的配置keil5工程即可使用部署的模型,支持ARMCC和GCC。
• 完全免费的推理框架TinyEngine，运行速度在F4和H7系列上处与业内前沿，支持GCC和ARMCC(AC6)。
• 支持X-CUBE-AI。
• 模型运行时的内存占用峰值可调，内存占用峰值远低于同类模型库。
• 稀疏块式推理，静态场景下可以自动根据目标稀疏性减少推理时间，目标检测模型推理时间低于同类模型库。
• 提供了训练脚本，模型可重新训练，同时提供了预训练模型，可以通过迁移学习以适应不同应用。

注意：项目大大，人非常好，会认真及时回复问题和技术难题。

1、yolov10算法选择与创新

由图所示，能够帮助我们更清楚地了解各模型在实际应用中的性能表现，选择YOLOv10n模型用于PCB缺陷检测模型创新的基础模型PCB表面缺陷存在缺陷复杂且呈现的形状多样，缺陷特征信息少分辨率低和缺陷特征与背景特征相似的特征，因此还需要根据PCB缺陷的特性进一步改进YOLOv10n以实现快速和精确的检测。

为了实现对PCB缺陷的快速和精确检测、适应PCB缺陷形态的多样性，首先，重构了YOLOv10的CSPLayer_2Conv模块，引入了可变形卷积的优势，并设计了CSPLayer_2DCNv3模块。其次，采用SPDConv的下采样，保留了浅层特征中丰富的细粒度信息，有效应对了PCB表面缺陷的小面积比例和与背景相似的特性。最后针对模型复杂，参数量大的问题，简化了骨干网络的结构，特征融合方式采用加权融合，减少计算量和参数量。

2、系统整体研究方案

本系统功能主要是PCB质检功能、缺陷实时预警两大功能。系统整体研究方案包括：数字孪生大屏的设计与实现、质检交互界面的设计与实现、缺陷检测算法研究、缺陷检测模型轻量化与部署和边缘设备搭建和代码实现。

该研究方案框架不仅涵盖了从数据处理到模型优化的全流程，还结合了最新的技术方法，确保系统在资源受限的环境中依然能够高效运行，满足工业应用的需求。

图3-1系统整体研究方案

2.1 系统整体硬件设计方案

该系统的整体硬件结构包括相机、通信模组、光源、传感器部分、数字大屏、GD32H757MCU、传送带、PC端和服务器。

系统质检功能数据流：实现对印制电路板（PCB）的质检检测和检测报告生成的功能，该过程主要在本地PC端进行。首先，通过质检交互界面获取需要质检的PCB图像所在的文件路径，并读取该路径下所有PCB板的视觉图像信息。接着，将这些图像信息输入到缺陷检测模型中进行推理，并将推理结果实时显示在质检交互界面和数字孪生大屏上。随后，检测人员在质检界面填写相关信息，系统即可一键生成详细的质检报告，并将数据同步至云端，实现高效的质检管理和数据共享。

系统实时监控预警功能数据流：首先，PCB通过传动机构移动至摄像头和光源下方。摄像头捕捉PCB图像，并在充足光照条件下确保图像清晰度。捕捉到的图像数据传输至MCU（微控制单元），MCU对图像数据进行模型推理，识别并定位可能存在的缺陷。推理结果实时显示在TFT_LCD显示屏上，若检测到缺陷，则触发预警信号。同时，MCU将图像数据和检测结果传输至PC端，PC端对接收的数据进行进一步的分析和处理。通过这种方式，系统实现了PCB缺陷检测的实时预警和数据处理，显著提高了检测效率和准确性。

3、硬件设计方案及其电路实现

本研究是基于兆易创新开发板GD32H7系列实现的边缘AI检测设备。我们对YOLOv10_SD模型实现轻量化之后部署到GD32H757开发板上，并成功完成了对PCB的缺陷检测。我们设计了一套硬件实现方案，可以实现基于低功耗MCU边缘端检测流程，使用较低成本的方案完成对PCB板缺陷检测流程，为基于低功耗MCU的边缘AI计算发展提供有力的解决方案。

图5-1 PCB缺陷检测硬件设计方案

本方案所需的硬件包括主控MCU、摄像头模组、通信模块、显示屏模块和服务器；在MCU上部署轻量化后的YOLOv10_SD模型，通过摄像头实时捕获图像，经过AI模型的推理后生成检测结果，通过通信模块实现MCU和服务器之前的数据读写；完成了目标图像数据的实时采集、推理和显示，并将处理的数据日志通过通信模块上传到云服务器端，用户可以通过访问云服务器或者实体服务器来访问和下载检测日志。

4、AI模型的部署到MCU的流程

从浮点CNN模型（使用Keras等框架设计和训练）起步，用户生成优化的C代码（使用STM32Cube.AI工具），并将其集成到计算机视觉框架中，以便在GD32H7上构建计算机视觉应用。在生成C代码时，用户可以选择以下两种选项之一：

1. 直接从浮点CNN模型生成浮点C代码
2. 或者对浮点CNN模型进行量化以得到8位模型，然后生成相应的量化C代码

对于大多数CNN模型，第二种选择可以减少资源占用（Flash和RAM）以及推理时间。对最终输出精度的影响取决于CNN模型和量化过程（主要是测试数据集和量化算法）

将torch训练好的模型转为通用的ONNX模型，利用STM32Cube.AI将onnx模型文件转换为优化的C代码。其过程如下：

图6-4 模型转换为C代码过程

我们将转换的C代码打包并命名为Edge_AI,我们创建了一个头文件用于构建AI模型的接口，并且可以根据宏定义分配输入输出数据的内存位置。我们在.C文件中创建了一个初始化函数，用于初始化AI模型的参数，包括宽度、高度和类型。捕获的图像数据通过数据转换和预处理函数送至模型中进行推理。

4、系统作品图

 

---