win10平台下将PyTorch模型转成ncnn模型

最新推荐文章于 2024-08-08 18:52:13 发布
最新推荐文章于 2024-08-08 18:52:13 发布
阅读量953 收藏 6
点赞数 2
分类专栏： 图像处理 文章标签： python pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Star_ID/article/details/124166672
版权

目录

1 总体流程

按照官方模型转换示例：use-ncnn-with-pytorch-or-onnx，首先将pytorch模型转为onnx模型，接着使用onnx-simplifier工具简化onnx模型，最后将onnx模型转为ncnn模型

2 环境配置

2.1 软件安装

  1. Visual Studio 2019

在这里插入图片描述

  1. CMake3.21.3

在这里插入图片描述

用户变量中添加环境变量

在这里插入图片描述

  1. OpenCV3.4.10

在这里插入图片描述

用户变量中配置下环境变量

在这里插入图片描述

2.2 protobuf编译

protobuf3.4.0下载后解压到指定文件夹：D:\ncnnby

以管理员身份打开VS2019的本地工具命令提示符x64 Native Tools Command Prompt for VS 2019，构建protobuf

在这里插入图片描述

依次输入以下指令

cd <protobuf-root-dir>
mkdir build-vs2019
cd build-vs2019
cmake -G"NMake Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -Dprotobuf_BUILD_TESTS=OFF -Dprotobuf_MSVC_STATIC_RUNTIME=OFF ../cmake
nmake
nmake install

开始编译

在这里插入图片描述

nmake

在这里插入图片描述

nmake install

在这里插入图片描述

得到所需文件

在这里插入图片描述

2.3 ncnn编译

跳过下载Vulkan SDK，不使用GPU推理；使用Git Bash下载ncnn

在这里插入图片描述

在这里插入图片描述

以管理员身份打开VS2019的本地工具命令提示符x64 Native Tools Command Prompt for VS 2019，构建ncnn

依次输入以下指令

cd <ncnn-root-dir>
mkdir build
cd build
cmake -G"NMake Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -DProtobuf_INCLUDE_DIR=D:/ncnnby/protobuf-3.4.0/build-vs2019/install/include -DProtobuf_LIBRARIES=D:/ncnnby/protobuf-3.4.0/build-vs2019/install/lib/libprotobuf.lib -DProtobuf_PROTOC_EXECUTABLE=D:/ncnnby/protobuf-3.4.0/build-vs2019/install/bin/protoc.exe -DNCNN_VULKAN=off -DOpenCV_DIR=D:/ncnnby/opencv/build ..
nmake
nmake install

注意：把cmake命令下DProtobuf开头命令的路径改成自己protobuf所在路径

在这里插入图片描述

在这里插入图片描述

nmake

在这里插入图片描述

nmake install

在这里插入图片描述

得到所需文件

在这里插入图片描述

至此，软件都已编译好

2.3 VS2019配置

新建VS2019工程，视图 → \to →其他窗口 → \to →属性管理器

在这里插入图片描述

右击Releaase x64，选择添加新项目属性表

在这里插入图片描述

命名属性表，并保存

在这里插入图片描述

双击打开属性页开始编辑，出现如下页面

在这里插入图片描述

选中VC++目录，在包含目录中添加

<opencv-root-dir>/build/include 
<opencv-root-dir>/build/include/opencv 
<opencv-root-dir>/build/include/opencv2 
<ncnn-root-dir>/build/install/include/ncnn
<protobuf-root-dir>/build-vs2019/install/include

在这里插入图片描述

添加库目录

<opencv-root-dir>/build-vs2019/x64/vc15/lib
<ncnn-root-dir>/build/install/lib
<protobuf-root-dir>/build/install/lib

在这里插入图片描述

添加附加依赖项

ncnn.lib
opencv_world3410.lib
libprotobuf.lib
libprotobuf-lite.lib
libprotoc.lib

在这里插入图片描述

在这里插入图片描述

经测试，环境搭建没问题（注：测试时要把属性页添加好，VS工程调试选择release x64)

3 模型转换

3.1 pytorch模型转onnx模型

在训练pytorch模型项目中添加转onnx模型的代码

import torch
from mtcnn.core.detect import create_mtcnn_net

if __name__ == '__main__':
    pnet, rnet, onet = create_mtcnn_net(p_model_path="./original_model/pnet_epoch_7.pt",
                                        r_model_path="./original_model/rnet_epoch_6.pt",
                                        o_model_path="./original_model/onet_epoch_10.pt",
                                        use_cuda=False)          # 加载自己的pt文件
    out_onnx_pnet = './modelconvert/pnet_epoch_7.onnx'           # 保存生成的onnx文件路径
    out_onnx_rnet = './modelconvert/rnet_epoch_6.onnx'
    out_onnx_onet = './modelconvert/onet_epoch_10.onnx'

    x = torch.randn(1, 3, 640, 480)
    y = torch.randn(1, 3, 24, 24)
    z = torch.randn(1, 3, 48, 48)
    # define input and output nodes, can be customized
    input_names = ["input"]
    output_names = ["output"]
    # convert pytorch to onnx
    torch_out_pnet = torch.onnx.export(pnet, x, out_onnx_pnet, input_names=input_names, output_names=output_names)
    torch_out_rnet = torch.onnx.export(rnet, y, out_onnx_rnet, input_names=input_names, output_names=output_names)
    torch_out_onet = torch.onnx.export(onet, z, out_onnx_onet, input_names=input_names, output_names=output_names)

得到onnx模型

在这里插入图片描述

3.2 简化onnx模型

首先安装简化工具，在Anaconda虚拟环境中输入如下指令

pip install onnx-simplifier

在这里插入图片描述

可见，还额外装了几个包，如：onnx，onnxruntime等

接着简化onnx模型，以管理员身份打开命令提示符，cd到模型所在文件，输入指令

python3 -m onnxsim resnet18.onnx resnet18-sim.onnx

在这里插入图片描述

得到简化模型

在这里插入图片描述

3.3 onnx模型转ncnn模型

将简化后文件移动到D:\ncnnby\ncnn\tools\onnx文件夹下

打开Anaconda Prompt，cd到指定目录，输入指令

onnx2ncnn resnet18-sim.onnx resnet18.param resnet18.bin

在这里插入图片描述

得到ncnn模型文件

在这里插入图片描述
ok，大功告成！

参考文献

(6条消息) Windows系统下把PyTorch模型转为ncnn模型流程_秦失其鹿的博客的博客-CSDN博客
(6条消息) 将pytorch训练的模型转为ncnn模型_樊城的博客-CSDN博客_ncnn pytorch
(7条消息) （一）ncnn | Windows10 + VS2019环境配置_zhangts20的博客-CSDN博客_ncnn vs2019

Star_ID
关注
专栏目录
39、Pytorch口罩模型，转成ncnn和mnn进行口罩检测
sxj731533730
03-04 2038
基本思想：手中有一个口罩检测的模型，随手记录一下MNN转化过程 一、模型工具转化 ubuntu@ubuntu:~/MNN/build$ ./MNNConvert -f TF --modelFile facemask.pb --MNNModel facemask.mnn --bizCode MNN Start to Convert Other Model Format To MNN Model... Start to Optimize the MNN Net... inputTensors : [ da
32 、 YOLO5训练自己的模型以及转ncnn模型
sxj731533730
01-16 2119
首先下载yolo5源代码，安装必要的软件配置 ubuntu@ubuntu:~$ https://github.com/ultralytics/yolov5 ubuntu@ubuntu:~$ pip install -U -r requirements.txt ubuntu@ubuntu:~$ cd yolo5 ubuntu@ubuntu:~/yolov5$ mkdir trainData ubuntu@ubuntu:~/yolov5$ cd trainData/ ubuntu@ubuntu:~/yolo
PyTorch模型转为ncnn
wangmou211的博客
08-09 1333
PyTorch模型转为ncnn 参考链接：https://blog.csdn.net/weixin_43541325/article/details/117421050 1. 安装onnx, pip install --upgrade onnx onnxruntime 2. 导出onnx模型 以torchvision自带的resnent18为例, 将PyTorch的模型导出为onnx的格式。 import torch import torchvision # An instance of your mo
让模型从Pytorch到NCNN——Pytorch模型向NCNN框架部署的小白向详细流程（PNNX模型转换、Linux模型使用）
最新发布
m0_56942491的博客
08-08 1288
一开始，稚嫩的我只是想能在实际应用场合中使用一些深度模型（结果没想到后面坑这么大），这就需要涉及到，如何将实验室里基于pytorch的一个开发模型，部署到算力和系统架构都不同的嵌入式设备中。随后我了解到了，部署到嵌入式设备上需要借助一些深度学习模型部署框架，这其中最著名的可能就是 ONNX (Open Neural Network Exchange) 了，我在阅读论文中也时常看到这个词汇，当时还不知道是啥。其他的还有腾讯家的 NCNN、阿里家的 MNN (Mobile Neural Network) 等。在
pytorch模型转ncnn
cnnmena的博客
01-19 709
pytorch模型转ncnn, linux离线安装ncnn
将pytorch训练的模型转为ncnn模型
weixin_44753371的博客
08-02 2070
1、训练自己的pytorch模型 训练完成后，生成.pth后缀模型，此时要转为可部署的ncnn模型需要经历一些过程，如下：.pth -> .onnx -> .pram 和 .bin模型 2、.pth转.onnx 2.1 避坑 有时候会出现onnx库不能将某些模块转换出来，如mobilenet中的hardswish激活函数就不能被转换，原因是由于pytorch的版本低，导致无法转换，可以升级pytorch的版本。 2.2 代码 以下代码为将.pth文件转为.onnx文件 import torch
RIFE插帧算法(V4.6)-pytorch转ncnn模型
xiaosier_D的博客
05-31 1684
首先附上各位大佬的github 地址链接，请多多支持各位开源大佬的工作(动动小手，star一下)：1. rife插帧算法原地址(pytorch实现)，作者特别优秀！书归正传，本文介绍一下如何通过pytorch转onnx再转ncnn模型的方式，将rife插帧算法应用在ncnn框架上。本文就基于上述模型的出入参和基本结构进行。
pytorch快手上手——从读取数据到ncnn部署
计算机视觉的学习日常
03-18 3506
pytorch入门指导，从读取数据到ncnn部署，全流程
Yolov5-pytorch模型迁移移动端
baidu_33512336的博客
03-30 412
前言 标题所指移动端主要是Android。流程是pt->onnx->ncnn->(param,bin) 环境 win10x64+pyCharm+Pytorch+Yolov5 步骤 1.运行Yolov5导出程序export.py，修改为自己的路径 执行后会在文件夹中产生 2.执行以下代码，进行模型冗余度简化，本文采用Pycharm中的Terminal，cd到对应文件中执行以下命令 python -m onnxsim best.onnx best-sim.onnx
在visual studio中配置ncnn环境
修炼之路
05-03 1010
导读 上一篇文章中我们介绍了如何将其他框架的模型转换为ncnn的模型，后面我们在开发SDK的时候需要基于visual studio来编写代码，这篇文章主要教大家如何在visual studio中来配置一个ncnn的环境，便于后面基于ncnn来调用我们的模型。 如果你已经比较熟悉基于visual studio的c++开发，这篇文章可以跳过。 ncnn的example ncnn官方也提供了不少模型调用的例子，在examples目录下有fasterrcnn、mobilenetv2ssdlite、retinafac
37、记录使用 Swin Transformer主干网络去实现分类，并转化NCNN、TNN、MNN模型以及部署
sxj731533730
01-20 8665
基本思想:最近手中有个swim transformer模型，想移植手机端进行推理一下，随手记录一下遇到的问题 一、首先我fork了大佬的代码，查阅主代码结构是华为分类垃圾的源码,然后作者参考了swin_transformer的架构做了修改，修改参考来自Swin-Transformer/swin_transformer.py at 5d2aede42b4b12cb0e7a2448b58820aeda604426 · microsoft/Swin-Transformer · GitHub （1）首先将模..
pytorch转ncnn目标检测源码
08-22
pytorch转ncnn目标检测源码，对应博客https://blog.csdn.net/weixin_45915902/article/details/103416431
将pytorch 模型转为 ncnn模型
Magicapprentice的博客
08-27 665
** 将pytorch 模型转为 ncnn模型（vs 2019 ） 文章目录将pytorch 模型转为 ncnn模型（vs 2019 ）step 1 pytorch模型文件转为onnx文件step2:.onnx转ncnn模型编译protobuf-3.4.0Build ncnn libraryonnx模型转为ncnnstep2 报错处理参考链接： step 1 pytorch模型文件转为onnx文件 具体步骤可以参考：https://github.com/ultralytics/yolov5/blob/mas
pytorch训练模型移植至ncnn
u013548568的博客
09-29 1064
pytorch训练模型移植至ncnn 第一步是pytorch模型往caffe模型的转换 采用的工具是网路公开的代码，https://github.com/xxradon/PytorchToCaffe，此时会生成prototxt和caffemodel两个新文件。 第二部是往ncnn迁移 ncnn安装 https://github.com/Tencent/ncnn/wiki/how-to-build#build-for-linux-x86 安装好之后，进行相应的转换 1）首先，上一步生成的mobile
【深度学习】win10下pytorch转ncnn手把手教程
qq_42595835的博客
05-06 3150
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、环境配置1.VS20192.CMake3.21.33.OpenCV3.4.134.protobuf3.4.05.编译ncnn二、使用步骤1.引入库2.读入数据总结 前言 最近需要把pytorch转为onnx再转为ncnn。整体流程大概为： 1、pytorch转为onnx； 2、使用onnx-simplifier工具简化onnx模型； 3、简化后的onnx转化为ncnn。 一、环境配置 1.VS2019 点击链接去官网安.
使用pnnx把pytorch模型转ncnn模型
小菜的博客
11-15 8870
序言 在做训练模型转部署模型的时候，通常都是先转成onnx，再转目标框架，但是经常会出现的问题就是某些算子不支持，这样一来，模型部署起来就比较困难，不过现在ncnn支持torch直接通过pnnx转成ncnn模型，将整个torch的模型直接搬过来，避免了算子不支持的问题，具体的介绍还请移步nihui大佬的知乎：PNNX: PyTorch Neural Network Exchange。 结合自己最近的情况，最近在白嫖PaddleOCRV2的移动端模型，想把它转成ncnn去部署在边缘设备上，情况是在转mbv3版
Pytorch模型转换为onnx或ncnn的方法兼谈pytorch模型编写规范
znsoft的专栏
01-30 595
使用torch.jit.trace_module( model, {"entrypoint",[parameters]}) 来记录模型，entrypoint在大多数模型中是　forward, 如果有定制，可以修改。影响成功的主要问题是：在模型的forward函数中不能使用条件语句，否则 会影响trace。此时的办法就是去掉里面的条件语句。pytorch-> torchscript->pnnx, 中间有副产品onnx模型。使用torch.jit.save来保存模型。
Pytorch 模型通过转为ncnn移植android
Ceri的博客
12-29 1835
模型转换 pytorch转onnx import torch.utils.data from torch.autograd import Variable from squeezenet import squeezenet1_2 import onnxruntime import numpy as np from onnxruntime.datasets import get_example import cv2 import onnx model_file = '/home/bbt/qinghua
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值