【模型部署】paddle-inference的C++部署（dll文件生成）windows版本

---

前言

这篇文章记录自己在工作过程中，使用 Paddle Inference 开发 C++ 推理程序过程的总结。
做深度学习训练，基本上都是使用python进行。使用C++进行部署，模型通过python训练的模型直接转换，目前主流的框架都支持转换成各种格式，如onnx、tensorrt、pdmodel等，但是前处理、后处理均需要自己使用C++自己重新编写，所以要有一定的C++基础。
因为公司使用C#开发的上位机，故要封装成DLL，供上位机调用。

一、模型准备

要进行Paddle Inference进行部署，要准备以下文件：.pdmodel、.pdiparams.info、.pdiparams三个模型相关的文件，另外还有一个infe_cfg.yml的配置文件（如下图所示），用于配置推理的超参数。

上述所需文件，若使用paddlepaddle框架进行训练，可以直接用tools/export_model.py生成

配置好–config及-opt即可，如果不懂如何配置，可以参考下paddlepaddle官网上的实际案例即可。如：
https://www.paddlepaddle.org.cn/tutorials/projectdetail/3167215#anchor-15

配置完，运行后可以得到以下文件：

如果用的其他框架训练的模型，要先转换成paddle支持的模型文件，如ultralytics版本的yolov5训练的模型，使用export.py（–include要设置成paddle）即可生成。但使用该方法不会自动生成infer_cfg.yml文件，可以参考该文件手动设置超参数。

二、 C++环境配置

1.Paddle Inference下载配置

参考官网：https://www.paddlepaddle.org.cn/inference/master/guides/install/cpp_install.html

配置好GCC，CMake，根据自己电脑的cuda版本选择合适版本。

2.OPENCV配置

对图像进行处理，绕不开opencv的使用，同样要配置opencvC++版本。

---

三、代码

具体代码可以参考我的GitHub。

四、DLL文件生成

将代码封装起来，对外开放接口：

// 该文件是detect_implement.h头文件
#pragma once
#include<string>

#ifdef DEPLOYMENTDLL_EXPORTS
#define DETECT_API __declspec(dllexport)
#else
#define DETECT_API __declspec(dllimport)
#endif // DEPLOYMENTDLL_EXPORTS

extern "C" DETECT_API int detectMain(std::string image_file, std::string device, std::string category); // detectMain对外开放的接口

// detect_implement.cpp文件具体实现上述.h的代码
#include "detect_implement.h"
#include "detect_utils.h"  

using namespace std;

int detectMain(string image_file, string device, string category="circle")
{
	// 具体代码实现方式
	return 0;
}

总结

以上就是我关于Paddle Inference的使用心得，如果有什么不懂得可以私信我，我很乐意帮大家解决。