onnxruntime 编译部署、模型转换与量化torch2onnx、python/C++API 推理编写

已于 2023-08-25 15:12:51 修改
阅读量2.2k 收藏 5
点赞数 8
文章标签： 深度学习
于 2022-09-21 11:39:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_30957413/article/details/126968505
版权
本文介绍了如何在Linux环境下编译ONNXRuntime库，包括针对Android和Linux的编译步骤。接着讲解了如何将PyTorch模型转换为ONNX模型，并获取输入输出名称和维度。此外，文章还探讨了模型的动态和静态量化方法。最后，展示了在Python和C++中进行ONNX模型推理的基本步骤。
摘要由CSDN通过智能技术生成

编译（Linux环境）：

1、下载onnxruntime 源码，https://github.com/microsoft/onnxruntime.git，需要将源码全部完成下载；

2、安卓编译，./build.sh --android --android_sdk_path <android sdk path> --android_ndk_path <android ndk path> --android_abi <android abi, e.g., arm64-v8a (default) or armeabi-v7a> --android_api <android api level, e.g., 27 (default)>

编译出的是C++的API的安卓的库；编译过程中会比较久，长达几十分钟，完成后在build/Android/Release中找到libonnxruntime.so，即可在NDK或者CMAKE中用；

另外想编译出能在Linux跑的库，./build.sh --config RelWithDebInfo --build_shared_lib --parallel

则在build/Linux/Release中找到libonnxruntime.so

更多详细资料参考和学习可参考:Build ONNX Runtime - onnxruntime

最低0.47元/天 解锁文章
梁龙腾
关注
  • 8
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
onnxruntime-android so文件
04-01
onnxruntime-android so文件
C++推理onnx模型并部署于Android（包含Opencv，onnxruntime的交叉编译）
最新发布
weixin_47420293的博客
07-16 926
编译完成后so库就位于：/home/liao/opencv-4.5.4-Android_arm64-v8a/install/sdk/native/libs/arm64-v8a。把下载的onnxruntime再解压一份，我这里保存为onnxruntime1.18.0-Android_arm64-v8a，这里编译的是arm64-v8a版本。把下载的opencv再解压一份，我这里保存为opencv4.5.4-Android_arm64-v8a，这里编译的是arm64-v8a版本。
onnxruntime android版build & 使用
蓝羽飞鸟的博客
11-02 5484
onnxruntime for android
OnnxRuntime编译
qq_41182465的博客
05-27 2260
（注：网上有教程说可以通过修改.git/config文件来解决中断的问题，尝试之后还是经常会断，可能是我没修改对，可参考: https://zhuanlan.zhihu.com/p/411887386）define Minimal_Build 用来较少一些非必要的函数，但是仅支持ORT模型文件，即需要先使用官方提供给python脚本来将ONNX文件转为ORT模型文件。其中.ort文件用于模型推导，因为最小的编译的onnxruntime仅支持ort模型文件，不再支持onnx文件。得到四个文件，两两对应。
android 使用 onnxruntime 部署 yolov5_face_landmark 人脸检测
这个人很懒什么都没有~
08-03 1419
下面是使用 opencv-camera，实时处理区域内人脸检测 android 推理 demo。
Windows下编译Onnxruntime
阿丹的彩蛋
04-01 1万+
Onnx解决了模型通用问题，但是使用onnx往往需要自己从源码编译，编译本身很简单，但是坑也不少，本文介绍个人在windows下编译的经验，希望能对大家有所帮助。
算法部署-基于C++和Python使用ONNXRuntime部署RT-DETR目标检测算法-附项目源码-优质项目实战.zip
05-12
4. **编写推理代码**：在C++或Python中编写推理代码，加载编译后的执行计划，预处理输入图像，然后调用ONNXRuntime的`Run`方法进行预测。 5. **后处理结果**：由于目标检测模型通常输出边界框坐标和类别概率，你...
ONNXRuntime部署PicoDet目标检测包含C++和Python源码+模型+说明.zip
05-02
《ONNXRuntime部署PicoDet目标检测：C++与Python实战指南》 在现代计算机视觉领域，目标检测是一项至关重要的任务，它能够识别并定位图像中的不同对象。PicoDet是一种轻量级、高效的深度学习目标检测框架，适用于...
算法部署-使用Python+ONNXRuntime部署YOLOv9目标检测算法-优质算法部署项目实战.zip
03-15
总结，这个项目实战涵盖了从理解YOLOv9目标检测算法，到Python环境的配置，再到模型转换和ONNXRuntime的部署。通过实践，你将掌握如何将复杂的深度学习模型部署到实际应用中，提高算法的执行效率和实用性。这个过程...
ONNXRuntime部署Ultra-Fast-Lane-Detection-v2车道线C++和Python源码模型
05-02
标题中的“ONNXRuntime部署Ultra-Fast-Lane-Detection-v2车道线C++和Python源码模型”指的是一项利用ONNXRuntime框架实现的高效车道线检测系统。这个系统基于 Ultra-Fast-Lane-Detection-v2 模型，旨在提供快速、...
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
总结来说，使用Python和TensorRT进行YOLOv5 ONNX模型的INT8量化，能够有效提升模型的运行效率，使其更适合在资源有限的设备上部署。通过理解这个过程，开发者可以更好地优化自己的深度学习模型，从而在实际应用中...
ubuntu交叉编译onnxruntime源码_cpu版本
cumtchw
12-09 3182
ubuntu交叉编译(armv7_32位)onnx源码_cpu版本
android中调用onnxruntime框架
tiaoteek的博客
06-07 1482
可能提示找不到对应的*so库，如使用的opencv 4.6.0 提示找不到“libopencv_java460.so”,通过everything发现该库下只有“libopencv_java4.so”，所以需要修改一下Core类。点击file->new->Import Module选择解压之后的opencv-android-sdk文件夹中的SDk文件夹，并将:sdk修改为:opencv。代码中加载opencv，根据需要在首次使用opencv的类中加载一次。修改 defaultConfig 里的版本。
手机上使用onnxruntime推理踩坑记录
wyzegg的专栏
07-07 1029
然后把成功打包的aar文件命名为zip文件，解密有把.so文件放到你的JNI工程里，需要从onnx源代码的tools/android_custom_build开始编译。使用build_custom_android_package.py开始编译。另外一个问题，最近发现编译JNI的时候，在cpp文件里不加。在JNI工程里建立一个子目录增加一个Android.mk。自己用源代码编译非常麻烦，在mocos很难编译成功。这样编译好后，和自己的.so文件一起加入安卓工程。所以尽可能的在cpp文件里也加上。
安卓调用onnx模型并计算
weixin_44808225的博客
11-14 4036
安卓平台可以通过调用onnx模型来进行计算，这为移动设备提供了更多的计算能力和应用场景。通过使用onnx模型，安卓设备可以进行复杂的计算任务，例如图像识别、语音识别等。这为移动应用的功能和性能提升提供了新的可能性。同时，开发者可以利用onnx模型来开发更加智能和高效的安卓应用，为用户提供更好的体验。总的来说，安卓调用onnx模型并进行计算的能力为移动设备的发展带来了新的机遇和挑战。
树莓派4b(armv8) 64位系统编译安装onnx
qq_42885359的博客
10-02 3810
网上大部分树莓派安装onnx的都是基于树莓派3b的，或者说基于armv7架构的。本文记录一下如何在最新的树莓派4b系统（armv8、python3.9）上编译安装onnx的过程。
onnxruntime (C++/CUDA) 编译安装及部署
热门推荐
一只小菜鸟的博客
03-15 2万+
前几天使用了LibTorch对模型进行C++转换和测试，发现速度比原始Python的Pytorch模型提升了2倍。现在尝试以下另一种跨平台的模型转换方式——Onnx，可实现跨X86/ARM架构的迁移应用。 本文主要介绍C++版本的onnxruntime使用，Python的操作较容易就不再提及了。 一、克隆及编译 git clone --recursive https://github.com/Microsoft/onnxruntime cd onnxruntime/ git checkout v1.8.0
PyTorch模型安卓部署流程(NCNN)
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
07-16 9663
如果我们想在手机端运行我们的深度学习模型需要怎么做呢？本文介绍了端侧深度学习模型部署流程(NCNN),在了解基本概念之后可以尝试运行NCNN官方demo实例，并根据自己需求进行改进，这样就可以在自己的手机上部署深度学习模型啦~
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值