openvino和ONNX Runtime的python对比

该博客通过Python API对比了OpenVINO和ONNX Runtime在深度学习模型推理时间上的表现。作者参考了其他资源,详细描述了从模型初始化、图像加载到输入输出准备和推理执行的整个过程。
摘要由CSDN通过智能技术生成

使用python API,对openvino和ONNX Runtime的推理时间进行比较。有学习并借用一些其他up的代码。

#openvino
from openvino.inference_engine import IECore
import numpy as np
import cv2
import time
 
ie = IECore()
model="shufflenet-v2-10.onnx"
#model="shufflenet-v2-10/shufflenet-v2-10.xml"
net = ie.read_network(model=model)
input_blob = next(iter(net.input_info))
out_blob = next(iter(net.outputs))
net.batch_size=1#batchsize
 
n, c, h, w = net.input_info[input_blob].input_data.shape
p
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
OpenCV DNN(深度神经网络)是OpenCV库中的一个模块,用于实现深度学习模型的推理功能。它支持多种深度学习框架,如Caffe、TensorFlow和Torch,可以加载训练好的模型并进行图像分类、目标检测、人脸识别等任务。OpenCV DNN提供了简单易用的API接口,使得开发者可以方便地集成深度学习模型到他们的应用中。 OpenVINOOpen Visual Inference & Neural Network Optimization)是Intel开发的一种开源工具套件,旨在加速深度学习模型的推理过程。它可以将训练好的模型转换成一个可优化执行的格式,并通过硬件加速技术(如英特尔的CPU、GPU、VPU等)提高推理性能。OpenVINO支持多种深度学习框架,如TensorFlow、Caffe和ONNX等,并提供了简洁的API接口,使得开发者可以轻松地在各种硬件设备上部署高性能的深度学习应用。 ONNXRuntime是一个开源的深度学习推理引擎,由微软开发。它支持ONNXOpen Neural Network Exchange)格式,可以加载和执行经过训练的ONNX模型。ONNXRuntime针对不同的硬件设备(如CPU、GPU、边缘设备)进行了优化,提供了高性能的推理能力。同时,它还支持多种编程语言,如C++、Python和C#,并提供了易用的API接口,使得开发者可以方便地集成ONNX模型到他们的应用中。 综上所述,OpenCV DNN、OpenVINOONNXRuntime都是用于深度学习推理的工具。OpenCV DNN提供了简单易用的API接口,OpenVINO通过硬件加速技术优化模型推理,而ONNXRuntime支持ONNX模型并进行了硬件和语言的优化。这些工具都能帮助开发者快速部署和优化深度学习模型,提高推理性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值