PyTorch模型转为ncnn

ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。无第三方依赖,跨平台,手机端 cpu 的速度快于目前所有已知的开源框架。基于 ncnn,开发者能够将深度学习算法轻松移植到手机端高效执行,开发出人工智能 APP,将 AI 带到你的指尖。
ncnn优点众多,包括

  1. 支持卷积神经网络,支持多输入和多分支结构,可计算部分分支
  2. 无任何第三方库依赖,不依赖 BLAS/NNPACK 等计算框架
  3. 纯 C++ 实现,跨平台,支持 android ios 等

然而,目前PyTorch已成为主流的深度学习开发平台,但是在部署上仍有不足,因此,我们可以借助ncnn将PyTorch模型部署到移动端。

环境

系统: Windows 11 dev (终端比原先方便很多)
vs: vs 2019
python: 3.8
PyTorch: 1.9.0

1. 安装onnx

pip install --upgrade onnx onnxruntime

2. 导出onnx模型

以torchvision自带的resnent18为例, 将PyTorch的模型导出为onnx的格式。

import torch
import torchvision

# An instance of your model
model = torchvision.models.resnet18()

# An example input you would normally provide to your model's forward() method
x = torch.rand(1, 3, 224, 224)

# Export the model
torch_out = torch.onnx.export(model, x, "resnet18.onnx", export_params=True)

3. 简化onnx模型

在将onnx转换为ncnn模型前,我们需要简化onnx模型,以免出现不可编译的情况

安装onnx-smiplifier

pip install --upgrade onnx-simplifier

简化onnx模型,打开终端,

python -m onnxsim resnet18.onnx resnet18-sim.onnx

4. onnx转换为ncnn

去ncnn官方的github下载ncnn的工具包,解压后,从bin中找到onnx2ncnn.exe文件,拷贝到工程文件夹,然后,打开终端输入

./onnx2ncnn .\resnet18.onnx  resnet18.param resnet18.bin

就生成了resnet18.param和resnet18.bin

参考文章:

ncnn的github
ncnn填坑记录四:pytorch模型转 ncnn

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
PyTorch模型转换为TorchScript的步骤如下: 1. 定义和训练PyTorch模型:首先,您需要定义和训练一个PyTorch模型,这可以通过使用标准的PyTorch代码来完成。 2. 导出PyTorch模型:然后,您需要将PyTorch模型导出为TorchScript格式。这可以通过使用PyTorch的torch.jit模块中的trace函数来完成。trace函数接受一个输入样本并生成一个TorchScript模块。 3. 运行TorchScript模型:一旦您导出了TorchScript模型,您可以像普通的Python模块一样使用它。您可以加载模块并使用其forward方法来运行模型。此外,TorchScript模块还可以与C++和Java等其他语言一起使用。 下面是一个简单的示例代码,演示了如何将PyTorch模型转换为TorchScript: ``` import torch import torchvision # 定义和训练PyTorch模型 model = torchvision.models.resnet18() example_input = torch.rand(1, 3, 224, 224) traced_script_module = torch.jit.trace(model, example_input) # 导出PyTorch模型为TorchScript模块 traced_script_module.save("resnet18.pt") # 加载TorchScript模块并运行模型 loaded_script_module = torch.jit.load("resnet18.pt") output = loaded_script_module(example_input) print(output) ``` 在这个示例代码中,我们首先定义了一个ResNet-18模型,并使用一个随机的输入样本来跟踪模型。然后,我们将跟踪后的模型保存为TorchScript格式。最后,我们加载了TorchScript模块并使用它来运行模型

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Moore21

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值