yolov5部署之dll封装并调用的方法

Christo3

已于 2024-04-17 17:40:12 修改

阅读量2.2w

点赞数 42

分类专栏： C++ 图像处理深度学习文章标签：深度学习目标跟踪图像识别图像处理 cuda

于 2021-04-01 20:57:18 首次发布

本文链接：https://blog.csdn.net/weixin_41552975/article/details/115340333

版权

图像处理同时被 3 个专栏收录

142 篇文章 20 订阅

订阅专栏

深度学习

96 篇文章 19 订阅

订阅专栏

C++

43 篇文章 6 订阅

订阅专栏

文章目录

前言
总结
- - - `视觉与控制前沿公众号，第一时间获取最有价值的前沿视觉与控制文章。`
    - **公众号链接**[视觉与控制公众号](https://mp.weixin.qq.com/s/9gUsqbua3JapVwn_NlrN5A)

*****************************************************************************************************************8

下述cpp和.h文件下载链接如下：
封装的cpp文件

前言

前面讲过yolov5的环境配置，源码测试，以及使用TensorRT进行推理加速，但是有时候为了让模型方便部署在移动端，需要将模型封装成一个动态链接库dll，从而使得模型能够在任意的移动端无需配置环境即可运行，只需通过读取dll即可在其他模块进行调用。

假设此时，您已经熟悉了pytorch的环境配置，yolov5源码的测试，CUDA以及TensorRT的安装，完成推理过程并成功生成了engine模型
如果以上的步骤还没有完成请参考以下博文：

1. VS2015新建一个dll项目

略
如果不了解新建dll项目的基本方法，请参考以下博文

2. 将yolov5封装成一个导出类

由于在前面我们已经生成了engine模型，所以将yolov5封装成一个类我们只需两个成员函数即可，一个是初始化函数inital()，一个是推理检测函数detectFunction()，当然封装的过程可以根据自己喜好任意设定。下面贴出我封装yolov5类的成员函数及成员变量。

#pragma once

#include <iostream>
#include <chrono>
#include "cuda_runtime_api.h"
#include "logging.h"
#include "common.hpp"
#include "utils.h"
#include "calibrator.h"

#define USE_FP16  // set USE_INT8 or USE_FP16 or USE_FP32
#define DEVICE 0  // GPU id
#define NMS_THRESH 0.4
#define CONF_THRESH 0.5
#define BATCH_SIZE 1

#define NET s  // s m l x
#define NETSTRUCT(str) createEngine_##str
#define CREATENET(net) NETSTRUCT(net)
#define STR1(x) #x
#define STR2(x) STR1(x)

using namespace std;
using namespace cv;


class YoloV5
{
public:
	YoloV5();
	~YoloV5();

	bool inital(const string& enginePath);

	void detect(const Mat& inputImg, vector<Rect>& vRect);


private:
	char* trtModelStream;
	size_t size;
	Logger gLogger;

	int INPUT_H;
	int INPUT_W;
	int CLASS_NUM;
	int OUTPUT_SIZE;
	char* INPUT_BLOB_NAME;
	char* OUTPUT_BLOB_NAME;
	void* buffers[2];
	float* data;
	float* prob;

	IExecutionContext* context;
	cudaStream_t stream;
private:
	void doInference(IExecutionContext& context, cudaStream_t& stream, void **buffers, float* input, float* output, int batchSize);



	cv::Rect get_rect(cv::Mat& img, float bbox[4]);
	float iou(float lbox[4], float rbox[4]);

	//bool cmp(const Yolo::Detection& a, const Yolo::Detection& b);

	void nms(std::vector<Yolo::Detection>& res, float *output, float conf_thresh, float nms_thresh = 0.5);



};

inline bool cmp(const Yolo::Detection& a, const Yolo::Detection& b) {
	return a.conf > b.conf;
}

对于每个函数的具体实现，请参考wang-xinyu的工作，源码链接点这里

注：

封装时如果编译报错，请检查包含的头文件是否正确
项目属性设置是否正确
配置环境路径是否设置正确

如果编译不报错Release文件夹下会生成一个yolov5.dll文件和yolov5.lib文件，即表示封装成功

3. 新建一个Test项目，调用yolov5类

// Test.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"
#include<iostream>
#include "..//yolov5/yolov5.h"
#include"..//yolov5/include/dirent.h"


int main()
{
	yolov5 yolov5_1;

	string eiginePath = "C:\\Users\\Administrator\\Desktop\\Python\\model\\broken\\yolov5s.engine";
	yolov5_1.inital(eiginePath);

	vector<cv::String> vImgPath;
	string filter = "C:\\Users\\Administrator\\Desktop\\Python\\img\\samples\\*.jpg";
	glob(filter, vImgPath);
	for (auto i = 0; i < vImgPath.size(); i++)
	{
		//cout << "vImgPath.size() : " << vImgPath.size() << endl;
		Mat img = imread(vImgPath[i]);
		if (img.channels() == 1)
		{
			cvtColor(img, img, cv::COLOR_GRAY2BGR);
		}
		vector<Rect> res1;
		yolov5_1.detectFunction(img, ref(res1));

	}
	return 0;
}