如何快速从测试代码中导出onnx,并对比torch与onnx的对比结果

一. 背景介绍

当我们的测试代码有很多依赖,或者训练测试代码在一起时,如何快速地导出onnx?

二. 实现

利用测试代码中原始的数据处理,在模型测试的时候直接导出onnx,并对比torch和onnx的推理结果。
tips:设置一个export_onnx参数,直接导出onnx。
实现代码如下,一个例子:

with torch.no_grad():
    export_onnx = True
    if export_onnx:
        input_img = img_mix.to(device)
        save_path = "G.onnx"
        torch.onnx.export(net_G,
                          input_img,
                          save_path,
                          export_params=True,
                          opset_version=11,
                          input_names=['input'],
                          output_names=['output'])
        print("export onnx success")
    G_pred = net_G(img_mix.to(device))[:, 0:3, :, :]
    if export_onnx:
        import onnxruntime as rt
        sess = rt.InferenceSession("G.onnx")
        input_name = sess.get_inputs()[0].name
        output_name = sess.get_outputs()[0].name
        pred_onnx = sess.run([output_name], {input_name:np.array(img_mix)})
        # 测试torch与onnx之间的推理误差
        print(abs(pred_onnx[0][:,0:3,:,:]-np.array(G_pred.cpu().detach())).max())
  • 3
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 可以使用 torch.onnx.export() 函数将 torch.jit.trace() 后的模型转换为 ONNX 格式。示例代码如下: ```python import torch import torch.onnx traced_model = torch.jit.trace(model, input) torch.onnx.export(traced_model, input, "model.onnx") ``` 其,model 是需要转换的 PyTorch 模型,input 是一个输入样本,"model.onnx" 是输出文件的文件名。 ### 回答2: 要将torch.jit.trace的结果导出ONNX格式,可以按照以下步骤进行: 1. 首先,通过torch.jit.trace将要导出的模型进行Tracing。Tracing是一种静态分析的技术,它会记录运行模型的图结构和操作流程。 2. 完成Tracing后,可以得到一个被jit.trace封装的模块。接下来,使用torch.onnx.export来导出ONNX模型。对于该函数,我们需要提供以下参数: - model:通过jit.trace得到的模块。 - args:表示模型的输入,可以是示例输入或者模型的输入张量。 - f:指定导出ONNX模型的文件路径。 - export_params:设置为True,导出模型的权重参数。 - opset_version:指定导出模型的ONNX opset的版本号。 示例代码如下所示: ``` import torch import torchvision # 加载模型 model = torchvision.models.resnet18(pretrained=True) model.eval() # 示例输入 example_input = torch.rand(1, 3, 224, 224) # 进行Tracing traced_model = torch.jit.trace(model, example_input) # 导出ONNX模型 torch.onnx.export(traced_model, example_input, "model.onnx", export_params=True, opset_version=10) ``` 执行上述代码后,将会在当前目录下生成一个名为"model.onnx"的文件,即为导出ONNX模型。我们可以使用该模型在其他框架或设备上进行推断或部署。 ### 回答3: 使用torch.jit.trace函数可以将一个PyTorch模型转换为图形模式,以便在不依赖Python环境的情况下进行推理。要将图形模式的模型导出ONNX格式,需要执行以下步骤: 首先,使用torch.jit.trace函数将PyTorch模型转换为图形模式。这可以通过跟踪一个示例输入张量来完成。 ```python import torch import torchvision model = torchvision.models.resnet18(pretrained=True) model.eval() example_input = torch.randn(1, 3, 224, 224) traced_model = torch.jit.trace(model, example_input) ``` 然后,使用torch.onnx.export函数将图形模式的模型导出ONNX格式。此函数需要指定导出的文件路径、示例输入张量、动态轴的形状和模型名称。 ```python input_names = ["input"] output_names = ["output"] example_output = traced_model(example_input) dynamic_axes = {"input": {0: "batch_size"}, "output": {0: "batch_size"}} torch.onnx.export(traced_model, example_input, "model.onnx", input_names=input_names, output_names=output_names, dynamic_axes=dynamic_axes) ``` 完成这些步骤后,模型将被导出ONNX格式,并保存在名为“model.onnx”的文件

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值