onnxruntime-gpu版本环境配置记录

环境配置
显卡RTX3060
显卡驱动531.14
CUDANVCUDA64.DLL 为12.1.68官方文件版本cuda_12.1.0_531.14_windows
cuDNN8.9.7.29_cuda12
onnxruntime1.18.0

  •   安装onnxruntime:
    # onnxruntime推理环境,安装GPU,首先通过清华源安装,安装的同时会自动安装onnxruntimegpu的附属依赖,
    # pip install  onnxruntime-gpu==1.18.0 -i  https://pypi.tuna.tsinghua.edu.cn/simple
    # 然后卸载onnxruntimegpu,然后通过官网源安装一遍
    # pip install onnxruntime-gpu==1.18.0 -i https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/

 pip install onnxruntime-gpu==1.18.0 -i https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/
  • 测试程序(路径更换成自己的模型路径)
    import onnxruntime
    
    print(onnxruntime.__version__)
    
    # print(onnxruntime.get_build_info())
    print(onnxruntime.get_device())
    print(onnxruntime.get_available_providers())
    
    
    modelpath = 'G:/YOLO-testPrj/onnxgpu_link/modelfile/yolo8n.onnx'
    MYprovider = ['CUDAExecutionProvider']
    session = onnxruntime.InferenceSession(path_or_bytes=modelpath, providers=MYprovider)
    print('use')
    print(session.get_providers())
    print(session.get_outputs())
    print(session.get_provider_options())

ONNX Runtime-GPU Linux 是基于 ONNX 运行时 (ONNX Runtime) 的版本,它针对 NVIDIA GPU 进行优化,旨在提供高性能推理加速。ONNX Runtime 是由微软和 Facebook 等公司联合开发的一个开源框架,用于在多种硬件平台上高效运行机器学习模型。 对于 Linux 用户来说,ONNX Runtime-GPU 版本可以显著提高深度学习应用的速度,特别是在对图形处理需求较高的任务上。通过利用 NVIDIA GPU 的并行计算能力,它可以加速模型的预测过程,减少延迟,并提高吞吐量。 要使用 ONNX Runtime-GPU Linux 版本,用户需要安装支持 CUDA 和 cuDNN 的 NVIDIA GPU 驱动程序,并且通常还需要安装适当的库文件如 `libnvinfer` 和 `libnvinfer-dev` 来访问 NVidia TensorRT 推理引擎,这将增强 ONNX Runtime 的性能。此外,系统还需要有 Python 开发环境,因为 ONNX Runtime 支持 Python API,允许开发者轻松集成到现有的 Python 应用中。 以下是使用 ONNX Runtime-GPU 的基本步骤: 1. **安装必要的软件包**:首先安装 CUDA 和 cuDNN 开发工具及库文件,然后安装 ONNX Runtime。具体的命令依赖于您使用的 Linux 发行版。 ```bash # 安装 CUDA and cuDNN sudo apt-get install -y cuda-utils libnvinfer-dev libnvinfer6 # 根据您的 Python 环境安装 ONNX Runtime pip install onnxruntime-gpu ``` 2. **运行示例应用程序**:ONNX Runtime 提供了一些示例应用程序帮助您开始使用,例如图像分类、语音识别等。您可以参考官方文档或 GitHub 存储库中的示例代码来了解如何加载模型并在 GPU 上执行推断。 ```python import onnxruntime # 加载 ONNX 模型 session = onnxruntime.InferenceSession("path/to/model.onnx") # 执行推断 input_name = session.get_inputs().name output_name = session.get_outputs().name result = session.run([output_name], {input_name: your_input_data}) print(result) ``` 3. **性能评估**:为了评估 GPU 的性能提升效果,可以测量在 CPU 和 GPU 上运行相同模型所需的时间。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值