【onnx 模型推理加速】如何验证 onnxruntime-gpu 版本 安装成功

首先安装gpu 版本的onnx 包

pip install onnxruntime-gpu

要验证onnxruntime-gpu版本是否安装成功，并且GPU加速功能正常，你可以执行以下步骤：

1. 检查安装的ONNX Runtime版本：
   首先，你可以检查安装的ONNX Runtime版本，确保它是GPU版本的。在Python中运行以下代码：

   import onnxruntime
   print(onnxruntime.__version__)
   

   如果输出显示了安装的版本号，这表明ONNX Runtime已经安装。但是，这并不足以证明GPU加速功能是可用的。
2. 检查GPU支持：
   要检查ONNX Runtime是否识别到了GPU，你可以尝试创建一个会话，并指定使用CUDA执行提供者：

   providers = ['CUDAExecutionProvider']
   session = onnxruntime.InferenceSession('path/to/your/model.onnx', providers=providers)
   print(session.get_providers())
   

   如果输出列表中包含CUDAExecutionProvider，这表明ONNX Runtime已经安装了GPU支持，并且准备好使用GPU进行推理。
3. 执行推理：
   为了进一步验证GPU加速是否正常工作，你可以加载一个模型并执行推理：

   import numpy as np
   # 创建输入数据
   input_data = np.random.randn(1, 3, 224, 224).astype(np.float32)
   # 执行模型
   outputs = session.run(None, {'input': input_data})
   # 检查输出
   print(outputs)
   

   如果上述代码没有抛出任何错误，并且成功输出了推理结果，这表明GPU加速的ONNX Runtime正在正常工作。
4. 检查GPU使用情况：
   你还可以通过系统监视工具（如nvidia-smi）来检查GPU的使用情况。在执行ONNX Runtime推理时，GPU的使用率应该会有所增加。
   如果你在尝试上述步骤时遇到任何错误，这可能表明GPU加速功能没有正确安装或配置。在这种情况下，你可能需要检查CUDA和cuDNN是否正确安装，以及它们是否与你的GPU驱动程序兼容。此外，确保你的ONNX Runtime版本与你的CUDA版本相匹配。