百度飞桨PP-YOLOE ONNX 在LabVIEW中的部署推理(含源码)

已于 2022-08-10 16:02:43 修改
阅读量1.5k 收藏 15
点赞数 1
分类专栏： LabVIEW深度学习实战 深度学习：物体识别（目标检测） 文章标签： 百度 paddlepaddle 计算机视觉 人工智能 目标检测
于 2022-08-08 19:01:21 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/virobotics/article/details/126231434
版权

文章目录

前言

PP-YOLOE是百度基于其之前的PP-YOLOv2所改进的卓越的单阶段Anchor-free模型，超越了多种流行的YOLO模型。如何使用python进行该模型的部署，官网已经介绍的很清楚了，但是对于如何在LabVIEW中实现该模型的部署，笔者目前还没有看到相关介绍文章，所以笔者在实现PP-YOLOE ONNX 在LabVIEW中的部署推理后，决定和各位读者分享一下如何使用LabVIEW实现PP-YOLOE的目标检测。

一、什么是PP-YOLO

在这里插入图片描述
PP-YOLOE是百度基于其之前的PP-YOLOv2所改进的卓越的单阶段Anchor-free模型，超越了多种流行的YOLO模型。PP-YOLOE，有更高的检测精度且部署友好。
PP-YOLOE基于anchor-free的架构，使用强大的backbone和neck，引入了CSPRepResStage，ET-head 和动态标签分配算法TAL。针对不同应用场景，提供了不同大小的模型。即s/m/l/x，可以通过width multiplier和depth multiplier配置。PP-YOLOE避免了使用诸如Deformable Convolution或者Matrix NMS之类的特殊算子，以使其能轻松地部署在多种多样的硬件上。
在这里插入图片描述
PP-YOLOE-l在COCO test-dev2017达到了51.6的mAP, 同时其速度在Tesla V100上达到了78.1 FPS。
PP-YOLOE提供了一键转出 ONNX 格式，可顺畅对接 ONNX 生态。本文主要实现百度PP-YOLOE ONNX 在LabVIEW上的部署推理。

二、环境搭建

1、部署本项目时所用环境

  • 操作系统：Windows10
  • python：3.6及以上
  • LabVIEW：2018及以上 64位版本
  • AI视觉工具包：techforce_lib_opencv_cpu-1.0.0.73.vip
  • onnx工具包：virobotics_lib_onnx_cuda_tensorrt-1.0.0.16.vip【1.0.0.16及以上版本】

2、LabVIEW工具包下载及安装

三、模型的获取与转化

注意：本教程已经为大家提供了PP-YOLOE的模型，可跳过本步骤，直接进行步骤四-推理。若是想要了解PP-YOLO的onnx模型如何获取，则可继续阅读本部分内容。

PP-YOLOE并没有直接提供onnx模型，但是我们可以通过paddle2onnx实现onnx模型的导出。

1、安装paddle

  • PPYOLO需要使用百度paddle框架，我们打开百度飞桨官网：https://www.paddlepaddle.org.cn/，在下方的快速安装选择适合自己版本的paddlepaddle

在这里插入图片描述

  • cmd中执行以下命令安装：
python -m pip install paddlepaddle-gpu==2.3.1.post112 -f https://www.paddlepaddle.org.cn/whl/windows/mkl/avx/stable.html

2、安装依赖的库

  • 从github上下载PaddleDetection并解压到目录，下载地址：https://github.com/PaddlePaddle/PaddleDetection ，将paddledetection根目录添加到环境变量。
  • 在PaddleDetection-release-2.4文件夹中打开cmd，输入以下指令安装需要的库
pip3 install -U pip && pip3 install -r requirements.txt

3、安装pycocotools

pip install pycocotools

若安装pycocotools时遇到ERROR: Could not build wheels for pycocotools ……，则可以使用以下指令来安装：

pip install pycocotools-windows

4、导出onnx模型

（1）导出推理模型

python tools/export_model.py -c configs/ppyoloe/ppyoloe_crn_l_300e_coco.yml --output_dir=output_inference -o weights=https://paddledet.bj.bcebos.com/models/ppyoloe_crn_l_300e_coco.pdparams

（2） 安装paddle2onnx

pip install paddle2onnx

（3） 转换成onnx格式

paddle2onnx --model_dir output_inference/ppyoloe_crn_l_300e_coco --model_filename model.pdmodel --params_filename model.pdiparams --opset_version 11 --save_file ppyoloe_crn_l_300e_coco.onnx

至此已成功导出PP-YOLOE ONNX模型

注意： ONNX模型目前只支持batch_size=1

四、在LabVIEW实现PP-YOLOE的部署推理

本项目整体的文件结构如下图所示，各位读者可在文章末尾链接处下载整个项目源码。
在这里插入图片描述

1、LabVIEW调用PP-YOLOE实现目标检测pp-yolox_main.vi

本例中使用LabvVIEW ONNX工具包中的Create_Session.vi载入onnx模型，可选择使用cpu,cuda进行推理加速。

（1）查看模型

我们可以使用netron 查看ppyoloe_crn_s_300e_coco.onnx的网络结构，浏览器中输入链接：https://netron.app/，点击Open Model，打开相应的网络模型文件即可。
在这里插入图片描述
查看模型属性，可看到模型的输入输出如下图所示:
在这里插入图片描述
我们发现，该模型有两个输入和两个输出，所以推理时候需要有两个输入，需要用到我们的多输入处理vi，run.vi

  • 可以看到图片输入大小为640x640
  • 第一个输出为8400x6[6分别为classese_id,cofidence,框]

（2）实现过程

  • 读取图片并进行图像预处理(-1到1的归一化)
    在这里插入图片描述

  • 初始化一个Vector_Value，新增两个输入tensor(图片及scal_factor)
    在这里插入图片描述

  • 加载模型并选择加速类型（cpu、CUDA、tensorRt）
    在这里插入图片描述

  • 实现多输入推理
    在这里插入图片描述

  • 获取第一层的输出
    在这里插入图片描述

  • 进行后处理
    在这里插入图片描述

  • 绘制检测出的目标及及置信度
    在这里插入图片描述

（3）项目运行

配置本项目所需环境。在文章末尾链接处下载整个项目源码，将我们已经转化好的onnx模型放置到model文件夹中，打开pp_yolo_main.vi,在前面板中修改程序中加载的模型路径为实际模型路径，本项目中已经将PP-YOLOE onnx模型【ppyoloe_crn_s_300e_coco.onnx】放置到了model文件夹中，如需其他模型，读者也可自行放置到model文件及下，实现模型的加载。修改检测图片的路径为实际图片路径，运行程序，可得到目标检测的结果。

  • 主程序源码如下：
    在这里插入图片描述

  • 运行结果如下：

在这里插入图片描述
大家也可以检测其他图片来测试检测效果。

2、LabVIEW调用PP-YOLOE实现实时目标检测ppyolo_camera.vi

实时检测过程，我们可以选择使用CUDA实现推理加速，整个程序的实现过程和加载图片进行检测基本一致。

（1）LabVIEW调用PP-YOLOE实时目标检测源码

在这里插入图片描述

（2）LabVIEW调用PP-YOLOE实现实时目标检测结果

在这里插入图片描述

可以看到使用CUDA进行推理加速，速度还是很快的。

五、完整项目下载链接

链接：https://pan.baidu.com/s/1h4I__FqrfimKauJT8jmOiQ?pwd=yiku

总结

以上就是今天要给大家分享的内容。大家可根据链接下载相关源码与模型。

如果有问题可以在评论区里讨论，提问前请先点赞支持一下博主哦。

如果文章对你有帮助，欢迎✌关注、👍点赞、✌收藏、👍订阅专栏

virobotics
关注
  • 1
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 10
    评论
专栏目录
CRC-32和CRC-32/MPEG-2校验源码-Labview版本
11-18
CRC-32和CRC-32/MPEG-2的校验方法实现源码-Labview版本(2015)，提供2种CRC-32的labview方法，提供CRC-32/MPEG-2校验的Labview版本(2015)方法和MATLAB function函数，可以在simunlink嵌入式function调用。
基于OpenVINOTM2023在LabVIEW中部署YOLOv8目标检测模型
英特尔边缘计算社区
06-07 619
作者：英特尔物联网行业创新大使 王立奇。
【飞桨AI实战】交通灯检测：手把手带你入门PaddleDetection，从训练到部署
u010522887的专栏
03-20 2052
本次分享将带领大家从0到1完成一个目标检测任务的模型训练评估和推理部署全流程，项目将采用以PaddleDetection为核心的飞浆深度学习框架进行开发，并总结开发过程中踩过的一些坑，希望能为有类似项目需求的同学提供一点帮助。
双服务器架构实战飞桨部署-自动上色和老相片修复
m0_63642362的博客
11-20 699
使用paddlehub部署到后端，并写一个web前端。前端和后端物理分离，分别用一台服务器。 示例项目部署到公网，可以http://w2.airoot.org:5000/aipic.html访问。
ONNX简介
yanqianglifei的专栏
01-03 4786
简介 Open Neural Network Exchange（ONNX，开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。 ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软，亚马逊 ，Fa...
Labview上部署tensorflow训练好的模型（可部署tensorflow2.x版本），Labview深度学习
布布汪的博客
06-21 5060
1、训练、保存tensorflow模型 首先在tensorflow2.x上训练模型，并冻结为.pb格式，方便labview调用。步骤可参见我另一篇冻结模型的文章： 链接 2、labview上调用（IMAQ DL Model VI） （注：前提是labview已经安装视觉开发模块） 我用的是labview2018 64位版本，视觉模块附上链接，2018版的64位与32位通用。 链接：https://pan.baidu.com/s/1FM7IG-DNYtMKzw6do2ME4w 提取码：r9a7 调用附
Labview程序部署
认认真真写程序，开开心心做工作
03-14 324
基于Labview的下位机程序部署
LabVIEW应用和部署：机器学习/深度学习
woshigaowei5146的博客
07-09 5175
LabVIEW应用和部署：机器学习/深度学习
Labview2023安装教程从零基础入门到精通，看看完这一篇就够了
yy1715713348的博客
11-03 5996
提取码：6789软件最新激活版获取地址： yinyue8.top/?id=图形化编程语言软件1、解压后，双击install.exe安装2、选中“我接受上述许可协议”，点击下一步3、点击下一步，安装NI Package Manager4、NI Package Manager安装完成后，通过它安装LabVIEW2020及相关工具包。点击下一步，开始安装。5、选中“我接受上述2条许可协议”，点击下一步6、选中“我接受上述2条许可协议”，点击下一步。7、点击下一步8、安装过程中。。。
Labview调用OCR Training.exe实现字符识别
视觉龙哥
09-16 2139
今天给大家分享一个运用执行命令来调用Labview自带字符训练器的方式， 实现效果如下图： 程序框架采用常见的生产消费者模式进行搭建，那么闲话不多说，如何调用？首先第一步，我们需要找到Labview自带OCR Training.exe应用程序的目录位置，通过帮助了解调用它的命令格式，如图： Labview安装在哪个盘就去哪个盘找，找到后可以将Utility文件夹整个复制到你常用用的函数文件中方便后续查找与使用，打开帮助文件TrainOCR.chm——选择Using Command Line A
21ic下载_Labview中NI-IMAQdx模块.zip_Labview中NI-IMAQdx模块_labview 大恒 dl
07-15
本程序通过DLL方式驱动相机，支持相机的所有属性，包含触发、白平衡等参数。另外大恒水星系列工业相机还支持...如果是需要自己通过LabVIEW编写程序，则建议使用DLL方式进行驱动，这样可以灵活的设置各种参数，高速稳
learn-labview.rar_labview源码
09-22
labview 初学者采样源码，学习的时候编写的
2137-2014-roboRIO-Labview:在 Labview 中公开发布我们 2014 年的 roboRIO 机器人代码
07-04
2137-2014-roboRIO-Labview 在 Labview 中公开发布我们 2014 年的 roboRIO 机器人代码。
labview学习资料-labview初级例程源码（76个）.zip
04-17
labview学习资料-labview初级例程源码（76个）： Area.vi Control.llb demo.vi EXA1.vi try_start3.vi 一维数组插入.vi 一维数组移位练习.vi 个人信息.ctl 二次函数.vi 二维数组删除.vi 二维数组插入.vi 二维数组...
百度 测试|测试开发 面试真题|面经 汇总
qq_48811377的博客
04-28 1045
用你熟悉的语言写个算法，两个链表求和返回链表 例如123(1->2 ->3)+321(3 ->2->1)=444(4 ->4->4 )，说时间复杂度和空间复杂度，再优化算法，使空间为O(1)，那么时间复杂度改变了吗？按照常规方法写出来了，一个for循环遍历，但是面试官不太满意，说有没有更简单的方法，我想了想，无…然后对方听不到我说话，我听不到对方说话，僵持了5分钟，，，围绕项目，写了多少条测试用例，怎么写的，代码覆盖率怎么判断和评估，我围绕的是定义展开叙述的，但面试官更想让我说的是有关测试报告的内容。
Baidu comate智能编程助手评测
专研计算机网络，数据通信，网络安全，系统集成
04-26 2031
Baidu Comate智能编码助手，是基于文心大模型，打造的新一代编码辅助工具，具备代码智能、场景丰富、创造价值、广泛应用等多重优势，实现“帮你想帮你写、帮你改”。Baidu Comate 智能编码助手支持 100 多种语言和多种 |DE(集成开发环境)平台，可以推荐代码、生成代码注释、查找代码缺陷、给出优化方案，还能深度解读企业与个人私域代码库等。总的来说，Baidu Comate是一款功能强人的智能代码助手，它可以帮助开发者提高编码效率和代码质量，减少出错和调试的时间成本。&在VScode部署。
图像增强与特效-API调用实践-百度AI
最新发布
qq_43529437的博客
04-30 452
图像清晰度增强-我的调用&官网介绍&预览API文档API调用方式ApiExplorer平台。
使用飞桨快速部署stable diffusion模型
skywalk8163的专栏
04-21 714
这可以说是最快的部署stable diffusion模型的方法了，而且星河社区还有免费的GPU算力提供，这样再也不用担心没有算力了！注意，模型限制77个字符的输入，超出会报错：is too long for context length 77。在V100下22秒输出一张图。可以看到画的图还是不错的。
【论文阅读笔记】Frequency Perception Network for Camouflaged Object Detection
qq_46056318的博客
04-30 1104
基于频率感知网络的视频目标检测2023年 ACM MMPaperCode隐蔽目标检测（COD）的目的是准确地检测隐藏在周围环境中的目标。然而，现有的COD方法主要定位在RGB域中的图像对象，其性能尚未得到充分利用，在许多具有挑战性的场景。考虑到频域中被感知对象和背景的特征更具区分性，提出了一种基于频域语义层次的可学习、可分离的频率感知机制。我们的整个网络采用两阶段模型，包括频率引导的粗定位阶段和细节保留的精定位阶段。利用主干提取的多层次特征，设计了一种基于八度卷积的灵活频率感知模块，用于粗定位。
帮我用c++编写动态连接库，实现多模型调用onnx，进行yolov5推理，并用Labview进行调用，并生成源码
05-26
好的，我可以帮你完成这个任务。 首先，需要安装ONNX运行库和YOLOv5模型。你可以从官方网站下载这些文件。在本例中，我们将使用ONNX运行库版本1.8.0和YOLOv5模型。 然后，创建一个C++项目，并将ONNX运行库和YOLOv5模型添加到项目中。你需要在代码中包含以下头文件： ```cpp #include <onnxruntime_cxx_api.h> #include <iostream> #include <fstream> #include <string> #include <opencv2/opencv.hpp> ``` 接下来，创建一个函数来加载模型和进行推理。以下是一个示例函数： ```cpp void yolov5_inference(const char* model_path, const char* image_path, float confidence_threshold) { Ort::SessionOptions session_options; Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test"); Ort::Session session(env, model_path, session_options); Ort::AllocatorWithDefaultOptions allocator; Ort::MemoryInfo memory_info = Ort::MemoryInfo::CreateCpu(OrtDeviceAllocator, OrtMemTypeCPU); // Load image cv::Mat image = cv::imread(image_path); cv::cvtColor(image, image, cv::COLOR_BGR2RGB); cv::resize(image, image, cv::Size(640, 640)); std::vector<float> input_data; input_data.reserve(640 * 640 * 3); for (int c = 0; c < 3; ++c) { for (int i = 0; i < 640; ++i) { for (int j = 0; j < 640; ++j) { input_data.push_back(static_cast<float>(image.at<cv::Vec3b>(i, j)[c]) / 255.f); } } } std::vector<int64_t> input_dims = { 1, 3, 640, 640 }; size_t input_size = sizeof(float) * input_data.size(); // Create input tensor Ort::Value input_tensor = Ort::Value::CreateTensor<float>(memory_info, input_data.data(), input_size, input_dims.data(), input_dims.size()); // Run inference std::vector<const char*> input_node_names = { "images" }; std::vector<const char*> output_node_names = { "output" }; std::vector<Ort::Value> output_tensors = session.Run(Ort::RunOptions{ nullptr }, input_node_names.data(), &input_tensor, 1, output_node_names.data(), 1); // Process output const float* output_data = output_tensors[0].GetTensorMutableData<float>(); std::vector<int64_t> output_dims = output_tensors[0].GetTensorTypeAndShapeInfo().GetShape(); int num_boxes = static_cast<int>(output_dims[1]); int num_classes = static_cast<int>(output_dims[2]) - 5; std::vector<std::vector<float>> boxes(num_boxes, std::vector<float>(4, 0.f)); std::vector<std::vector<float>> scores(num_boxes, std::vector<float>(num_classes, 0.f)); std::vector<int> classes(num_boxes, 0); for (int i = 0; i < num_boxes; ++i) { int offset = i * output_dims[2]; for (int c = 0; c < 4; ++c) { boxes[i][c] = output_data[offset + c]; } float max_score = 0.f; for (int j = 0; j < num_classes; ++j) { scores[i][j] = output_data[offset + 5 + j]; if (scores[i][j] > max_score) { max_score = scores[i][j]; classes[i] = j; } } } // Filter results by confidence threshold std::vector<int> indices; for (int i = 0; i < num_boxes; ++i) { float max_score = *std::max_element(scores[i].begin(), scores[i].end()); if (max_score > confidence_threshold) { indices.push_back(i); } } // Print results for (int i : indices) { std::cout << "Box " << i << ": "; for (float c : boxes[i]) { std::cout << c << ", "; } std::cout << "Class: " << classes[i] << ", Score: " << *std::max_element(scores[i].begin(), scores[i].end()) << std::endl; } } ``` 此函数使用ONNX运行库加载YOLOv5模型并对给定图像进行推理。它还采用置信度阈值作为输入参数，并仅返回置信度大于该值的边界框。 最后，将此函数编译为动态连接库： ```cpp #include <windows.h> #include <onnxruntime_cxx_api.h> #include <iostream> #include <fstream> #include <string> #include <opencv2/opencv.hpp> #define DllExport __declspec(dllexport) extern "C" DllExport void yolov5_inference(const char* model_path, const char* image_path, float confidence_threshold); void yolov5_inference(const char* model_path, const char* image_path, float confidence_threshold) { // Same as the previous function } ``` 最后，你可以使用LabVIEW调用此动态链接库。在LabVIEW中调用动态链接库的方法因版本而异。可以在LabVIEW帮助文档中找到有关如何调用动态链接库的更多信息。 至于生成源码，你可以使用Visual Studio生成动态链接库项目的源代码。在Visual Studio中，选择“生成”->“生成解决方案”，然后在项目文件夹中找到生成的源代码文件。这些文件将包括所有源文件和头文件，以及生成的动态链接库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

virobotics

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值