OnnRuntime是一个用于执行ONNX模型的Python库,它提供了一个简单的API,使得使用ONNX模型变得非常容易。该库支持多种不同的硬件加速和优化技术,如CUDA、OpenCL、TensorRT等,以便在不同的硬件上实现最佳性能。使用OnnRuntime,用户可以轻松地执行预测、推理和评估ONNX模型,同时还可以进行调试和优化。此外,OnnRuntime还支持动态图形,在运行时动态构建和优化模型。
以下是onnxruntime包的一个使用案例,用于加载并运行一个训练好的ResNet模型进行图像分类。
import onnxruntime
import numpy as np
from PIL import Image
# 加载模型
session = onnxruntime.InferenceSession("resnet50v2.onnx")
# 预处理图像
image = Image.open("example_image.jpg")
image = image.resize((224, 224))
image = np.array(image).astype(np.float32)
image = np.transpose(image, (2, 0, 1))
image = np.expand_dims(image, axis=0)
image /= 255.0
# 进行推理
input_name = session.get_inputs()[0].name
output_name = session.get_outputs()[0].name
prediction = session.run([output_name], {input_name: image})[0]
# 输出预测结果
label_file = open("imagenet_classes.txt")
labels = label_file.readlines()
label_file.close()
top_k = np.argsort(prediction)[::-1][:5]
for i in top_k:
print(labels[i].strip(), prediction[i])
在这个例子中,我们首先加载一个ResNet50v2模型文件“resnet50v2.onnx”,然后使用PIL库加载一个样例图像。接下来,我们对图像进行一些预处理,然后在输入到模型中进行预测。最后,我们使用一个包含预测标签的文本文件,将模型输出中的前5个最高置信度标签打印出来。