Paddle模型转onnx

简介

Paddle2ONNX 支持将 PaddlePaddle 模型格式转化到 ONNX 模型格式。通过 ONNX 可以完成将 Paddle 模型到多种推理引擎的部署,包括 TensorRT/OpenVINO/MNN/TNN/NCNN,以及其它对 ONNX 开源格式进行支持的推理引擎或硬件。

步骤

1.环境依赖

PaddlePaddle == 2.6.0
onnxruntime >= 1.10.0

2.安装

针对PaddlePaddle2.5.2的用户可以直接运行以下命令行代码来安装P2O

pip install paddle2onnx

由于没有自动发包机制,针对PaddlePaddle2.6.0的用户,请按照Github 源码安装方式编译Paddle2ONNX。

3.获取PaddlePaddle部署模型

Paddle2ONNX 在导出模型时,需要传入部署模型格式,包括两个文件

model_name.pdmodel: 表示模型结构
model_name.pdiparams: 表示模型参数 [注意] 这里需要注意,两个文件其中参数文件后辍为 .pdiparams,如你的参数文件后辍是 .pdparams ,那说明你的参数是训练过程中保存的,当前还不是部署模型格式。 部署模型的导出可以参照各个模型套件的导出模型文档。

4.命令行转换

使用如下命令将Paddle模型转换为ONNX模型

paddle2onnx --model_dir saved_inference_model \
            --model_filename model.pdmodel \
            --params_filename model.pdiparams \
            --save_file model.onnx

可调整的转换参数见:Paddle2ONNX

5.之后的模型转化

见我另外的博文onnx转化ncnn实现过程,对onnx进行进一步的优化simplifier,以及转化。

  • 5
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要将Paddle模型导出为ONNX格式并在ONNXRuntime C中使用,可以按照以下步骤进行: 首先,需要使用Paddle框架训练或加载一个现有的模型。在训练或加载模型后,可以使用以下代码将Paddle模型导出为ONNX格式: ```python import paddle import paddle.nn as nn import paddle.onnx as onnx # 定义并训练Paddle模型 class MyModel(nn.Layer): def __init__(self): super(MyModel, self).__init__() self.fc = nn.Linear(10, 10) def forward(self, x): x = self.fc(x) return x model = MyModel() # 进行模型训练 # 将Paddle模型导出为ONNX格式 onnx_model_path = "model.onnx" paddle.onnx.export(model, onnx_model_path) ``` 然后,安装ONNXRuntime C库,并使用以下代码在C中加载和运行导出的ONNX模型: ```c #include <onnxruntime_c_api.h> // 加载ONNX模型 const wchar_t* model_path = L"model.onnx"; OrtEnv* env; OrtCreateEnv(ORT_LOGGING_LEVEL_WARNING, "ONNXModel", &env); OrtSessionOptions* session_options; OrtCreateSessionOptions(&session_options); OrtSession* session; OrtCreateSession(env, model_path, session_options, &session); // 设置输入张量 OrtAllocator* allocator; OrtCreateAllocatorWithDefaultOptions(&allocator); int input_tensor_shape[] = {1, 10}; float input_tensor_data[] = {0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0}; const char* input_tensor_name[] = {"input"}; size_t input_tensor_size = sizeof(input_tensor_data); OrtValue* input_tensor; OrtStatus* status; OrtCreateTensorWithDataAsOrtValue(allocator, input_tensor_data, input_tensor_size, input_tensor_shape, 2, ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT, &input_tensor); OrtStatus* input_status; OrtSessionGetInputCount(session, &input_count); OrtInput* input_def; OrtSessionGetInput(session, 0, &input_def); OrtSessionFillInputTensor(session, input_tensor, input_def, input_tensor_data, input_tensor_size); // 运行模型 OrtStatus* run_status; const char* output_names[] = {"output"}; OrtValue* output_tensor; OrtStatus* output_status; int output_tensor_count = 1; OrtStatus* session_status; OrtRun(session, NULL, input_tensor_name, (const OrtValue* const*)&input_tensor, 1, output_names, output_tensor_count, &output_tensor); // 获取输出结果 float* output_tensor_data; OrtGetTensorMutableData(output_tensor, (void**)&output_tensor_data); for (int i = 0; i < 10; i++) { printf("%f ", output_tensor_data[i]); } // 释放资源 OrtAllocatorFree(allocator, input_tensor); OrtReleaseSession(session); OrtReleaseSessionOptions(session_options); OrtReleaseEnvironment(env); ``` 这样,就可以使用ONNXRuntime C加载和运行导出的ONNX模型。注意,在使用ONNXRuntime C之前,需要根据平台和编译器的要求进行相应的设置和安装。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值