基于onnxruntime的C++版本CPU/GPU源码编译

最新推荐文章于 2025-02-19 16:57:47 发布
最新推荐文章于 2025-02-19 16:57:47 发布
阅读量9.7k 收藏 46
点赞数 12
分类专栏： onnxruntime源码编译 文章标签： c++ 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44957558/article/details/117444444
版权

基于onnxruntime的C++版本CPU/GPU源码编译

提示：基于onnxruntime的CPU/GPU源码编译，C++版本

文章目录

前言

一、ONNX Runtime是什么?

ONNX Runtime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎.

二、为什么要用ONNX Runtime?

微软在开源中提供了大量框架和引擎。第一个是开放式神经网络交换（ONNX）运行时 https://github.com/microsoft/onnxruntime，这是一种用于ONNX格式的机器学习模型的高性能推理引擎。它从今天开始在GitHub上提供，可以自定义并直接集成到现有代码库中，或者从源代码编译，在Windows 10，Linux和各种其他操作系统上运行。

对于不熟悉的人来说，ONNX是一种与平台无关的深度学习模型，可以实现开源AI框架之间的互操作性，例如Google的TensorFlow，Microsoft的Cognitive Toolkit，Facebook的Caffe2和Apache的MXNet。微软，AWS和Facebook在大约于2017年9月联合宣布，它正在由亚马逊，Nvidia，英特尔和AMD等公司进行积极的开发。

也许更重要的是，它得到了更广泛的ONNX社区的支持。英特尔和微软正在合作将nGraph编译器集成为ONNX Runtime的执行提供程序。Nvidia正在帮助整合TensorRT; 高通公司表示支持。它可以在嵌入式设备，Windows和Linux上运行…它极大地简化了开发人员的生活。随着微软开发Azure机器学习服务 - 一个允许开发人员构建，培训和部署AI模型的云平台 - 一般可用并发布Azure认知服务语言理解API的容器化支持，ONNX的推出也随之而来。

一、源码地址

源码github地址.
https://github.com/microsoft/onnxruntime

本人github地址.
https://github.com/wyt95

二、步骤

1.基础环境搭建

  • 基础编译环境：

    • Ubuntu18.04

    • cmake version 3.20.3

    • Python3.9.5.

      • python版本 > 3.5 ，建议直接最新源码下载编译
      • 源码编译步骤：./configure；sudo make ; make install
      • 编译完成后记得执行python3 -V看下版本信息对不对
      • PS:如果要使用tesonrRT,建议下载python3.8,因为onnxruntime的tensorRt的编译需要下载tensorRt7.2.2.3,支持的python版本:2.7,3.4-3.8,目前暂不支持3.9以上

    • python3 numpy

      pip3 install numpy即可

    • nvidia驱动
      下载cuda11.0的版本时使用默认的cuda自带的驱动进行安装,见第二张图nvidia驱动版本信息
      在这里插入图片描述

    • CUDA以及cudnn版本

以上就是基础环境配置

2.源码编译

进入onnxruntime的代码目录
编译GPU，命令如下：

./build.sh --skip_tests --use_cuda --config Release --build_shared_lib --parallel --cuda_home /usr/local/cuda-11.0 --cudnn_home /usr/local/cuda-11.0

编译CPU，命令如下：

./build.sh --skip_tests --config Release --build_shared_lib

编译tensorrt，命令如下：

./build.sh --build_shared_lib --skip_tests --config Release --use_cuda --cudnn_home /usr/local/cuda/ --cuda_home /usr/local/cuda  --use_tensorrt --tensorrt_home /home/TensorRT-7.2.2.3/

以下就是GPU版本编译完成后产生的libonnxruntime.so.1.8.0以及libonnxruntime.so
libonnxruntime.so是软连接到libonnxruntime.so.1.8.0上去的
在这里插入图片描述在这里插入图片描述

  • GPU版本的onnxruntime的库包含cuda的函数信息，CPU版本的库就不会存在cuda的函数信息
    在这里插入图片描述
    1.7.0版本是本人四月份编译的cpu的版本，大家可以自己编译之后比对下两者的函数包含信息
    在这里插入图片描述

3.测试

  • 需要这几个库放一起编译使用
    在这里插入图片描述

4.注意事项

onnxruntime的GPU的版本经过本人一周反复测试，cuda、cudnn以及nvdia驱动的版本是强配套的
ps:期间因为版本没有完全配套导致环境乱了，重装环境了QAQ

总结

我也是第一次尝试，源码编译还是慢慢来吧，有什么问题可以直接私信讨论，或者下方评论留言

onnxruntime-win-x86-1.18.0.zip
06-10
在本文中，我们将深入探讨标题提及的“onnxruntime-win-x86-1.18.0.zip”文件，这包含了适用于Windows x86平台的CPU版本ONNX Runtime库。 首先，让我们理解ONNX（Open Neural Network Exchange）的核心概念。ONNX是...
onnxruntime源码编译
大山的专栏
05-27 6414
onnxruntime源码编译CMakeLists.txt中gpu参数设置 set(CMAKE_CUDA_FLAGS "${CMAKE_CUDA_FLAGS} -gencode=arch=compute_62,code=sm_62") # tx2 set(CMAKE_CUDA_FLAGS "${CMAKE_CUDA_FLAGS} -gencode=arch=compute_53,code=sm_53") # nano set(CMAKE_CUDA_FLAGS "${CMAKE_CUDA_FLAGS} -ge
onnxruntime-projects:一些onnxruntime项目的代码
05-10
onnxruntime项目 介绍 该存储库包含一些onnxruntime项目的代码，例如分类，分段，检测，样式转换和超分辨率。 Onnx运行时 ONNX Runtime是面向性能的完整评分引擎，适用于开放神经网络交换（ONNX）模型，具有开放可扩展的体系结构，可不断解决AI和深度学习的最新发展。 在我的存储库中，onnxruntime.dll已被编译。 您可以下载它，并在查看有关onnxruntime的特定信息。 专案 编程语言是C ++，平台是Visual Studio。 我已经基于onnxruntime官方样本完成了一些项目。 该链接已在前面提到过。 另外，您可以在下载一些onnx模型。 如有必要，您可以在看到onnx模型的结构。 视窗 网络 班级 输入分辨率 批量大小 迭代次数 CPU运行时间 GPU运行时间 TRT运行时间* 移动网 1000 224x224 1个 1000
ONNX Runtime 与 CUDA、cuDNN 的版本对应
old_power的博客
02-19 1260
ONNX Runtime 与 CUDA、cuDNN 的版本对应关系是深度学习模型部署中的关键点，确保版本兼容性可以避免运行时错误并优化性能。以下是详细的版本对应关系及注意事项：
【onnxruntime】【GPU】windows10下onnxruntime-win-x64-gpu-1.15.0 C++版本源码编译教程
yangyu0515的博客
04-28 4314
【onnxruntime】【GPU】windows10下onnxruntime-win-x64-gpu-1.15.0 C++版本源码编译教程
源码编译onnxruntime（打开onednn/oneapi）
qq_42738654的博客
11-19 2785
本文使用源码编译ort框架原因是需要打开某些开关（比如one-api），0.4.0版本有–openmp,–use_mkl,–use_mkldnn，–use_openvino等等开关，现在编译1.9.1版本的ort，openmp作者不建议打卡，当然可以自己调用线程数来加速，重要的是use_dnnl（mkldnn，mkl）这个开关，现在已经讲mkl，mkldnn合并。下面有一些注意事项，一切还是以官方文档为准。 官方编译文档 https://onnxruntime.ai/docs/build/inferenc
【OnnxRuntime】在linux下编译并安装C++版本的onnx-runtime
种一棵树最好的时间是十年前，其次是现在
07-31 1万+
通过按照上述步骤，您应该能够在Linux上成功安装ONNX Runtime。请注意，安装过程中可能需要根据您的系统和需求进行适当的调整。// 首先创建一个conda环境，因为./build.sh实际上调用的是./tools/cl_build/build.py。这将使用所有可用的CPU核心进行编译。如果希望使用指定数量的核心，可以将$(nproc)替换为所需的核心数量。安装CMake：可以通过包管理器（如apt、yum等）安装CMake。安装C++编译器：确保系统中已安装C++编译器，如GCC或Clang。
Window10 ONNX Runtime 源码编译静态库 + MMDeploy源码编译动态库
qq_19797871的博客
11-30 1114
管理员运行cmd ->cd /d D:/develop/onnxruntime。尝试过编译静态库，编译成功，但是在运行中出现model加载失败未找到原因，就放弃了。4、使用vs2019命令工具的lib.exe命令来把多个lib打包成一个lib。3、用vs2019打开生成的onnxruntime项目。2、管理员运行命令行进入onnxruntime目录。一、ONNX Runtime（v1.12.0）源码编译。正常编译会生成很多lib库。二、MMDeploy源码编译动态库。
[干货]Ubuntu 20.04编译onnxruntime cpu/gpu
北极熊99 的博客
05-02 3016
本教程分享如何在Ubuntu20.04中编译onnxruntime，关于为什么要自己编译onnxruntime，可能有一下几个原因： 官方编译的python包或c/c++动态库与部署环境不同，这是需要针对自己的环境（CUDA）进行编译 官方默认编译的onnxruntime不包含TensorRT等加速库，如果想借助onnxruntime，把TensorRT作为推理引擎需自行编译 onnxruntime使用TensorRT加速引擎的优势： 代码无需大幅改动，只需要指定推理时的provider，即可随意使用
Windows下从源码编译ONNX Runtime
Justin_JGT的博客
06-04 2207
本文记录了作者在windows平台下从源码编译ONNX Runtime的一些流程及细节。
Ubuntu18.04安装onnxruntime（c++版）与CUDA运行Demo
～勿据散客～的博客
11-27 2702
根据项目需求，从pytorch转的onnx模型做部署。怎么转忘了做笔记了，大家自行搜索吧……
记录一次艰难的onnxtuntime源码编译过程
DYF的博客
03-07 3252
1、首先是onnxruntime源码下载 源码地址：onnxruntime # 必须--recursive， 否则很多库文件下载不齐 git clone --recursive https://github.com/microsoft/onnxruntime.git 编译报错的绝大部分的原因是git clone没有下载完成，里面嵌套了很多git，需要–recursive下载 2.源码编译 我使用的是windows下的WSL2(docker)进行编译，使用windows下的windows terminal
OnnxRuntime编译
qq_41182465的博客
05-27 2830
（注：网上有教程说可以通过修改.git/config文件来解决中断的问题，尝试之后还是经常会断，可能是我没修改对，可参考: https://zhuanlan.zhihu.com/p/411887386）define Minimal_Build 用来较少一些非必要的函数，但是仅支持ORT模型文件，即需要先使用官方提供给python脚本来将ONNX文件转为ORT模型文件。其中.ort文件用于模型推导，因为最小的编译的onnxruntime仅支持ort模型文件，不再支持onnx文件。得到四个文件，两两对应。
onnxruntime的c++使用
热门推荐
chencision的博客
01-04 4万+
onnxruntime的c++使用 利用onnx和onnxruntime实现pytorch深度框架使用C++推理进行服务器部署，模型推理的性能是比python快很多的 版本环境 python: pytorch == 1.6.0 onnx == 1.7.0 onnxruntime == 1.3.0 c++: onnxruntime-linux-x64-1.4.0 使用流程 首先，利用pytorch自带的torch.onnx模块导出 .onnx模型文件，具体查看该部分pytorch官方文档，主要流程如下： im
深度学习模型部署——基于Onnx Runtime的深度学习模型CPU与GPU部署（C++实现）
知来者逆的博客
05-18 1万+
以上就是在win 10下使用Onnx Runtime用CPU与GPU来对onnx模型进行推理部署的对比，可以明显的看出来，使用GPU之后的推理速度，但在正式的大型项目中，在win下使用GPU部署模型是不建议，一般都会选择Linux,那样对GPU的利用率会高出不少，毕竟蚊腿肉也是肉。
ONNX：C++通过onnxruntime使用.onnx模型进行前向计算【下载的onnxruntime是编译好的库文件，可直接使用】
u013250861的博客
11-13 9328
利用onnx和onnxruntime实现深度框架使用C++推理进行服务器部署，模型推理的性能是比python快很多的。
VS c++ onnxruntime 环境配置、onnx教程、部署推理模型、sklearn pkl模型转onnx、问题汇总
AIcar_lrm的博客
12-08 1万+
VS c++ onnxruntime 环境配置、onnx教程、部署推理模型、sklearn pkl模型转onnx、问题汇总
ONNX Runtime(ORT) C++ Windows 深度学习模型部署简易教程
qq_41822101的博客
04-12 7212
之前介绍了，发现我的模型比较特殊（实现的太烂了），使用TensorRT推理不能得到正确的结果，使用ORT部署成功了，因此分享一下ORT的部署过程。
onnxruntime（c++）
liguandong
09-17 471
基于onnxruntime的C++版本CPU/GPU源码编译提示：基于onnxruntime的CPU/GPU源码编译，C++版本文章目录基于onnxruntime的C++版本CPU/GPU源码编译前言一、源码地址二、步骤1.基础环境搭建2.源码编译3.注意事项总结前言一、ONNX Runtime是什么?微软在开源中提供了大量框架和引擎。基于onnxruntime的C++版本CPU/GPU源码编译_三横先生的博客-CSDN博客_onnxruntime gpu c++
onnxruntime c++下载
最新发布
03-21
<think>好的，我现在要解决用户的问题：如何下载并安装适用于C++的ONNX Runtime库。首先，我需要回忆ONNX Runtime的官方文档和相关资源。用户之前提到了引用[1]，里面提到了Windows平台安装onnxruntime和OpenCV，以及调用模型的步骤，但用户现在具体需要的是C++版本的下载和安装方法。 首先，我应该考虑用户的操作系统。用户之前提到的是Windows平台，所以可能需要重点介绍Windows的步骤，但为了全面，可能也需要简要提及其他系统如Linux。ONNX Runtime的C++库通常可以通过预编译的二进制文件或者从源代码编译来获取。 接下来，我需要确定正确的下载渠道。官网是最可靠的来源，用户应该访问ONNX Runtime的GitHub Releases页面，那里有各个版本的预编译库。在下载时，用户需要选择对应的操作系统和架构，比如Windows x64。此外，用户需要注意选择正确的版本，比如CPU版本还是GPU版本，这取决于他们是否需要CUDA支持。 安装步骤可能包括下载并解压文件，然后配置项目中的包含路径和库路径。在Windows上，用户可能需要使用Visual Studio，所以需要指导如何添加包含目录和库目录，链接相应的.lib文件，并确保运行时DLL可用。对于Linux用户，使用包管理器或从源码构建也是常见的方法，但用户的问题可能更关注Windows，所以需要以Windows为主，再补充其他系统。 另外，用户可能需要验证安装是否成功，比如编写一个简单的C++程序来调用ONNX模型，并链接正确的库。这部分可能需要示例代码和编译命令，比如使用g++或MSVC的命令行参数。 需要注意的事项包括版本兼容性，确保下载的ONNX Runtime版本与项目的其他依赖兼容，以及正确设置环境变量，比如将DLL路径添加到系统的PATH中，或者在项目中配置运行时库的路径。 可能用户会遇到的问题包括找不到头文件、链接错误或者运行时缺少DLL，因此需要强调正确的配置步骤和验证方法。此外，用户可能需要安装额外的依赖，比如Protobuf，如果从源代码编译的话，但预编译版本可能已经包含这些。 最后，总结步骤，确保逻辑清晰，分点说明，让用户能一步步跟随操作。同时，根据用户的要求，生成相关问题，可能涉及不同系统的安装、配置项目时的CMake使用，以及如何部署应用等。</think>以下是下载并安装ONNX Runtime C++库的详细步骤： ### 1. 下载预编译库 访问ONNX Runtime的GitHub Releases页面（https://github.com/microsoft/onnxruntime/releases），选择对应操作系统的版本： - **Windows**：下载文件名类似`onnxruntime-win-x64-{版本号}.zip`的压缩包（x64表示64位系统） - **Linux**：选择`onnxruntime-linux-x64-{版本号}.tgz` 若需要GPU支持，选择带`gpu`标识的版本（例如`onnxruntime-win-x64-gpu-1.14.1.zip`） ### 2. 安装步骤（以Windows为例） ```bash # 解压到指定目录（示例路径为D:\SDK） unzip onnxruntime-win-x64-1.14.1.zip -d D:\SDK\onnxruntime ``` 目录结构说明： ``` ├── include ├── lib │ ├── onnxruntime.dll # 运行时动态库 │ └── onnxruntime.lib # 静态链接库 └── LICENSE ``` ### 3. 配置开发环境（Visual Studio） - **包含目录**：添加`D:\SDK\onnxruntime\include` - **库目录**：添加`D:\SDK\onnxruntime\lib` - **链接库**：在项目属性中添加`onnxruntime.lib` ### 4. 验证安装（示例代码） ```cpp #include <onnxruntime_cxx_api.h> int main() { Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test"); Ort::SessionOptions session_options; auto session = Ort::Session(env, L"model.onnx", session_options); return 0; } ``` 编译命令示例（需根据实际路径调整）： ```bash g++ main.cpp -I"D:\SDK\onnxruntime\include" -L"D:\SDK\onnxruntime\lib" -lonnxruntime -o test ``` ### 5. 环境变量配置（可选） 将`onnxruntime.dll`所在路径添加到系统PATH变量，或在调试时复制DLL到可执行文件目录[^1]
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三横先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值