【PaddleInferenceSharp】基于C#和Paddle Inference 部署PaddlePaddle模型

1. 项目介绍

  Paddle Inference 是飞桨的原生推理库， 提供服务器端的高性能推理能力，直接基于飞桨的训练算子，因此它支持飞桨训练出的所有模型的推理；Paddle Inference 功能特性丰富，性能优异，针对不同平台不同的应用场景进行了深度的适配优化，做到高吞吐、低时延，保证了飞桨模型在服务器端即训即用，快速部署。

  但由于Paddle Inference目前只提供了Python、C++、C、Go语言方法接口，C#无法直接使用。近几年以来 ，C#语言快速发展，并跻身于编程语言排行榜前几名的位置，为了能够在C#语言中调用Paddle Inference模型推理库，根据C++动态链接库的原理，推出PaddleInferenceSharp，实现直接在C#平台调用Paddle Inference部署深度学习模型。其实现原理可以参考下图：

2.项目环境配置

 为了防止复现代码出现问题，列出以下代码开发环境，可以根据自己需求设置。

• 操作系统：Windows 11
• CUDA：11.4
• cuDNN：8.2.4
• TensorRT：8.4.0.6
• OpenCV：4.5.5
• Visual Studio：2022
• C#框架：.NET 6.0
• OpenCvSharp：OpenCvSharp4

 此处最重要的是需要安装Paddle Inference C++版，具体安装方式可以参考下面的连接：Paddle Inference C++ 依赖库安装(Windows)。对于其他依赖项安装可以参考以下链接：NVIDIA TensorR 安装 (Windows C++)、OpenCV C++安装和配置。

3.项目下载方式

 项目所使用的源码均已经在Github和Gitee上开源，

Github:

git clone https://github.com/guojin-yan/PaddleInferenceSharp.git

Gitee:

git clone https://gitee.com/guojin-yan/PaddleInferenceSharp.git

4. PaddleInfer类

4.1 API 方法

序号	API		参数解释	说明
1	方法	PaddleInfer()	构造函数，初始化推理核心，读取本地模型
	参数	string model_path	静态图模型文件
		string params_path	模型配置文件信息，默认为空
2	方法	void set_divice()	设置推理设备	支持 CPU、GPU、ONNX runtime、oneDNN
	参数	Divice divice	设备名称选择
		int num	对于CPU、ONNX runtime代表线程数，默认为10； 对于GPU代表显卡编号，默认为0； 对于oneDNN代表cache数量，默认为1
		ulong memory_init_size	显存分配空间(在使用GPU时作用)，默认为500
		int workspace_size	显存工作空间(在使用GPU时作用)，默认为30
3	方法	List <string> get_input_names()	获取输入节点名字
4	方法	void set_input_shape()	设置输入节点形状	根据节点维度设置
	参数	int[] input_shape	形状数组
		string input_name	节点名称
5	方法	void load_input_data()	设置图片/普通输入数据	方法重载
	参数	string input_name	输入节点名称
		float[] input_data	输入数据
	参数	string input_name	输入节点名称
		byte[] image_data	图片数据
		ulong image_size	图片长度
		int type	数据处理类型： type == 0: 均值方差归一化、直接缩放 type == 1: 普通归一化、直接缩放 type == 2: 均值方差归一化、仿射变换
6	方法	void infer()	模型推理
7	方法	List <string> get_output_names()	获取输出节点名字
8	方法	List <int> get_shape()	获取指定节点形状
	参数	string node_name	节点名称
9	方法	void T[] read_infer_result <T>()	读取推理结果数据	支持读取Float32、Int32、Int64格式数据
	参数	string output_name	输出节点名
		int data_size	输出数据长度
10	方法	void delet()	删除内存地址

4.2 枚举

序号	枚举名	枚举变量	含义
1	Divice 设备名称	CPU	使用CPU推理
		GPU	使用GPU推理
		ONNX_runtime	使用ONNX_runtime推理
		oneDNN	使用oneDNN推理

 关于上述方法的使用，后续会更新县官的案例教程以及详细的技术文档，敬请期待。