python模型部署_pytorch模型部署到移动端（使用腾讯TNN）

记录分为

pytorch2onnx

onnx2tnn

tnn结果验证

移动端(安卓)使用

1、pytorch2onnx

环境：

pytorch 1.4.0

onnx 1.6.0 (转换)

onnxruntime 1.3.0 (测试)

onnx-simplifier 0.2.9 (模型量化，不执行后续报错了，我测试是这样的)

转换代码：

import onnx

import torch

from test_net import TestModel

import numpy as np

import cv2

if 1:

torch_model = TestModel("model.pt")

torch_model.eval()

batch_size = 1 #批处理大小

input_shape = (3,384,384) #输入数据

# set the model to inference mode

# torch_model.eval()

x = torch.randn(batch_size,*input_shape)# 生成张量

export_onnx_file = "./model.onnx"# 目的ONNX文件名

torch.onnx.export(torch_model,

x,

export_onnx_file,

export_params=True,

opset_version=11,

do_cons