深度学习系列8：openvino

已于 2022-06-10 17:53:12 修改
阅读量1w 收藏 86
点赞数 9
分类专栏： 深度学习系列 文章标签： 深度学习 openvino opencv
于 2020-07-13 15:18:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kittyzc/article/details/107303488
版权

1. 为什么使用openvino

openvino是intel开发的深度学习模型推理加速引擎，总体使用感觉就是方便，压缩后的模型再cpu上跑的速度可以媲美gpu（据称精度损失都小于5%）。另外，intel还在不断出配套的硬件，下半年要出货的keem bay性价比已经超越了现在的海康nnie（p.s. 这家的sdk极不友好）；使用openvino还有一个优点，就是openvino内置优化过的opencv，处理视频图像更方便。
openvino支持python和c++，下面以python环境为例进行搭建。当然了，java也是可以调用的，技巧就是使用opencv的java编译包。opencv中的深度学习模块支持调用openvino压缩的模型。

2. openvino基本步骤

首先要把训练好的各种模型转换为openvino的标准IR模型（包含一个xml文件和bin文件，分别是模型结构和模型参数），然后调用推理引擎去对输入文件进行预测。

2.1 安装openvino

最新版本可以直接用pip进行安装了，方便多了。
可以到这个页面选择按照的版本：https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/download.html。 最新的安装命令为：

pip install openvino-dev[pytorch]==2022.1.0

网页上提供了模型下载、转换、量化、数据加载等一系列脚本。我们以下载为例，直接执行：

omz_downloader --all

omz_downloader在anaconda的bin目录下，如果pip版本大于21.3，可以直接使用，否则需要先export OMZ_ROOT

2.2 转换模型（旧版本）

转换脚本在deployment_tools/model_optimizer文件夹下，可以对caffe、tensorflow、onnx文件进行转换，参数为：
–input_model 要转换的模型
–output_dir 输出文件夹
–input shape 可选，可以调整输入影像的大小
–model_name 可选，自定义名称
–input 可选，输入层截断
–output 可选，输出层截断

注意pytorch的模型不能直接转，需要先转换成onnx格式：

from model import with_mobilenet
import onnx,torch
net = with_mobilenet.PoseEstimationWithMobileNet(is_convertible_by_mo=True)
net.load_state_dict((torch.load('human-pose-estimation-3d-0001.pth')))
dummy_input = torch.randn(1,3,256,448)
torch.onnx.export(net,dummy_input ,"pose.onnx")

然后再转为openvino模型

python /opt/intel/openvino/deployment_tools/model_optimizer/mo_onnx.py --input_model 模型地址.onnx

生成bin和xml两个文件

2.3 模型使用

C++调用步骤：

  1. 加载插件
    InferenceEngine::InferencePlugin，被加载的设备为InferenceEngine::PluginDispatcher
  2. 读入压缩模型
    InferenceEngine::CNNNetReader::ReadNetwork(“Model.xml”)
    InferenceEngine::CNNNetReader::ReadWeights(“Model.bin”)
  3. 指定输入输出文件
    InferenceEngine::CNNNetwork::getInputsInfo()
    InferenceEngine::CNNNetwork::getOutputsInfo().
  4. 开始工作
    4.1 将模型加载到插件中：调用方法InferenceEngine::InferencePlugin::LoadNetwork()，返回InferenceEngine::ExecutableNetwork
    4.2 建立请求：InferenceEngine::InferRequest::Ptr，InferenceEngine::ExecutableNetwork::CreateInferRequestPtr()
    4.3 加载输入：InferenceEngine::InferRequest::getBlob()，并做图形处理
    4.4 运行请求：InferenceEngine::InferRequest::Infer()；或者InferenceEngine::InferRequest::StartAsync()+InferenceEngine::InferRequest::Wait()
    4.5 获取输出：InferenceEngine::InferRequest::getBlob()

python调用步骤

  1. 加载插件
    ie = IECore()
    ie.add_extension(os.getenv(‘INTEL_OPENVINO_DIR’)+‘/deployment_tools/inference_engine/lib/intel64/libcpu_extension.dylib’,device)
  2. 读入模型
    net = IENetwork(model= modelpath+‘.xml’, weights=modelpath+‘.bin’)
  3. 指定输入输出格式
    input_blob = next(iter(net.inputs))
    out_blob = next(iter(net.outputs))
  4. 开始工作
    exec_net = ie.load_network(network=net, device_name=device)
    image = cv2.imread(imgpath)
    res = exec_net.infer(inputs={input_blob: image})
    综合如下
from openvino.inference_engine import IENetwork, IECore
model_xml = "*.xml"
model_bin = "*.bin"
device = 'CPU'
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob,out_blob,net.batch_size = next(iter(net.inputs)),next(iter(net.outputs)),1
n, c, h, w = net.inputs[input_blob].shape
exec_net = ie.load_network(network=net, device_name=device)
output = exec_net.infer(inputs={input_blob: cpux.numpy()})[out_blob]
output

使用opencv调用
这里要自己编译opencv包，带上WITH_INF_ENGINE=ON，然后使用dnn模块进行推断。

3. 性能对比

onnx的性能对比如下
在这里插入图片描述
onnx比原生模型稍慢一些，主要是因为数据精度问题，onnx是float32位，而原生模型是float16.
在这里插入图片描述

4. Open_model_zoo

这里有清单。
在这里插入图片描述
这里有如何使用的教程。

4.1 face recognition

在这里插入图片描述
我们挑选mobilefacenet来试下

首先下载模型：

python /opt/intel/openvino/deployment_tools/open_model_zoo/tools/downloader/downloader.py --name face-recognition-mobilefacenet-arcface

然后转换模型：

python /opt/intel/openvino/deployment_tools/model_optimizer/mo_mxnet.py --input_model model-y1-test2/model-0000.params --input_shape "[1,3,112,112]"

接下来就可以快乐的使用了，速度快得飞起，在cpu上4.52 ms ± 76.4 µs per loop。

from openvino.inference_engine import IENetwork, IECore
import cv2
model_xml = "facenet/model-0000.xml"
model_bin = "facenet/model-0000.bin"
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob,out_blob,net.batch_size = next(iter(net.inputs)),next(iter(net.outputs)),1
n, c, h, w = net.inputs[input_blob].shape
exec_net = ie.load_network(network=net, device_name='CPU')
x = cv2.imread('1.png')
x = cv2.resize(x,(112,112)).transpose([2, 0, 1])
output = exec_net.infer(inputs={input_blob:x })[out_blob]
exec_net.infer(inputs={input_blob:x })

4.2 body ReID

在这里插入图片描述
首先下载模型

python /opt/intel/openvino/deployment_tools/open_model_zoo/tools/downloader/downloader.py --name person-reid*

嗯，这个是intel的模型，不需要转换，都可以直接使用，最高精度耗时，感动哭了好吗 18.1 ms ± 460 µs per loop

from openvino.inference_engine import IENetwork, IECore
import cv2
path = 'person-reidentification-retail-0270'
model_xml = path+".xml"
model_bin = path+".bin"
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob,out_blob,net.batch_size = next(iter(net.inputs)),next(iter(net.outputs)),1
n, c, h, w = net.inputs[input_blob].shape
exec_net = ie.load_network(network=net, device_name='CPU')
x = cv2.imread('58.jpg')
x = cv2.resize(x,(128,256)).transpose([2, 0, 1])
output = exec_net.infer(inputs={input_blob:x })[out_blob]
exec_net.infer(inputs={input_blob:x })

4.3 age/gender prediction

模型参考如下：
在这里插入图片描述
同样，首先下载模型，同样是intel自有模型，很方便，直接用。

python /opt/intel/openvino/deployment_tools/open_model_zoo/tools/downloader/downloader.py --name age-gender*

推理代码如下，速度快到发指：1.39 ms ± 5.41 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

from openvino.inference_engine import IENetwork, IECore
import cv2
path = 'work/openvino/agegender/age-gender-recognition-retail-0013'
model_xml = path+".xml"
model_bin = path+".bin"
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob,out_blob,net.batch_size = next(iter(net.inputs)),next(iter(net.outputs)),1
n, c, h, w = net.inputs[input_blob].shape
exec_net = ie.load_network(network=net, device_name='CPU')
x = cv2.imread('work/openvino/agegender/1.png')
x = cv2.resize(x,(62,62)).transpose([2, 0, 1])
output = exec_net.infer(inputs={input_blob:x })[out_blob]
exec_net.infer(inputs={input_blob:x })

4.4 body and face detection

body使用person-detection-0102

python /opt/intel/openvino/deployment_tools/open_model_zoo/tools/downloader/downloader.py --name person-detection*

22.7 ms ± 1.01 ms per loop，速度快的飞起，它不香么。

from openvino.inference_engine import IENetwork, IECore
import cv2
path = 'work/openvino/bodydetection/person-detection-0102'
model_xml = path+".xml"
model_bin = path+".bin"
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
input_blob,out_blob,net.batch_size = next(iter(net.inputs)),next(iter(net.outputs)),1
n, c, h, w = net.inputs[input_blob].shape
exec_net = ie.load_network(network=net, device_name='CPU')
x = cv2.imread('work/openvino/bodydetection/0.png')
x = cv2.resize(x,(512,512)).transpose([2, 0, 1])
output = exec_net.infer(inputs={input_blob:x })[out_blob]
res = exec_net.infer(inputs={input_blob:x })[out_blob][0][0]
b = cv2.imread('work/openvino/bodydetection/0.png')
h,w = b.shape[:2]
for r in res:
    c,x1,y1,x2,y2 = r[2],r[3],r[4],r[5],r[6]
    if c>0.9:
        cv2.rectangle(b,(int(x1*w),int(y1*h)),(int(x2*w),int(y2*h)),(255,0,0),5)
cv2.imwrite('temp.jpg',b)

face用face-detection-0105，也是快的飞起29.9 ms ± 530 µs

4.5 body segamentation

在这里插入图片描述

首先下载模型

python /opt/intel/openvino/deployment_tools/open_model_zoo/tools/downloader/downloader.py --name instance-segmentation-security-1025.xml

测试一下效果

from openvino.inference_engine import IENetwork, IECore
import cv2
path = 'instance-segmentation-security-1025'
model_xml = path+".xml"
model_bin = path+".bin"
ie = IECore()
net = IENetwork(model=model_xml, weights=model_bin)
exec_net = ie.load_network(network=net, device_name='CPU')
x = cv2.imread('1.png')
x = cv2.resize(x,(480,480)).transpose([2, 0, 1])
res = exec_net.infer(inputs={'im_data':x,'im_info':[1920,1080,1] })

结果一共有4个字段，可以分81类，其中类别1是人体。用时也不是非常高，cpu上可以跑到4fps。
在这里插入图片描述

from skimage import io
img = cv2.imread('1.png')
for r in res['boxes'][:1]:
    x1,y1,x2,y2 = r
    cv2.rectangle(img,(int(x1/480*1920),int(y1/480*1080)),(int(x2/480*1920),int(y2/480*1080)),(255,0,0),5)
io.imshow(img)

x1,y1,x2,y2 = res['boxes'][0]/480
x1=int(x1*1920)
y1=int(y1*1080)
x2=int(x2*1920)
y2=int(y2*1080)
src = img[y1:y2,x1:x2]
mask = (cv2.resize(res['raw_masks'][0][0],(x2-x1,y2-y1))<0.53).astype(np.int8)
io.imshow(cv2.bitwise_and(src,src,mask=mask)[:,:,::-1])

这里分别显示了检测框和框内的抠图。

IE06
关注
  • 9
    点赞
  • 踩
  • 86
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
openvino_java：构建，打包和发布适用于Java的OpenVINO
02-17
openvino_java 构建，打包和发布适用于Java的OpenVINO
介绍OpenVINO 2023.1: 在边缘端赋能生成式AI
英特尔边缘计算社区
09-20 6118
随着 OpenVINO™ 2023.1 版本的发布，我们希望将生成式 AI 的强大功能引入常规台式机和笔记本电脑，让这些模型可以运行在在资源受限的本地环境中，，并被您尝试集成到自己的应用程序中。我们在整个产品中针对这些场景进行了优化，实现了一些关键功能，并为我们的下一步工作计划奠定了基础。
隆重介绍OpenVINO 2024.0: 为开发者提供更强性能和扩展支持
英特尔边缘计算社区
03-08 2499
欢迎来到OpenVINO 2024.0，我们很高兴在这里推出一系列增强功能，旨在在快速发展的人工智能领域为开发者赋能！此版本通过动态量化、改进的GPU优化以及对混合专家架构的支持，增强了大语言模型（LLM）的性能。OpenVINO 2024.0使开发者能够有效利用人工智能加速，并对来自社区的持续贡献表示感谢。
OpenVino入门（二）
Cream_Cicilian的博客
01-04 1415
OpenVino入门（二）一.OpenVino简介1.1OpenVino是什么1.2 OpenVino的网络加速原理1.2.1Linear Operations Fusing1.2.2 数据精度校准（Precision Calibration）1.2.3 补充1.3 开发流程1.3.1 模型优化器(Model Optimizer)1.3.2 推断引擎(Inference Engine)1.3.2 推断引擎开发代码流程二.以Super Resolution C++ Demo展示推断引擎 一.OpenVino简
干货 | 图文教程 OpenVINO 安装+demo运行 + VS配置
OpenVINOCC的博客
09-21 5354
干货 | 图文教程 OpenVINO 安装+demo运行 + VS配置 爱学习的 OpenVINO 中文社区 内容 / 刘金龙 排版 / 江艳玲 OpenVINO简介 OpenVINO 是Intel开源的一套基于计算机视觉模型的加速框架,可以让计算机视觉模型在cpu上获得十倍及以上的加速。 其包含四大模块： （1） 推断引擎：加载模型、加速执行、异步与同步、多线程支持。 （2） 模型优化器：模型转换、 模型压缩、 32F/16F、 模型优化 。 （3） 预训练模型： 人脸检测、 行人检测、
什么是OpenVino？以及如何使用OpenVino运行yolo
17岁boy的博客
04-23 6729
Openvino是由Intel开发的专门用于优化和部署人工智能推理的半开源的工具包，主要用于对深度推理做优化。Openvino内部集成了OpencvTensorFlow模块，除此之外它还具有强大的Plugin开发框架，允许开发者在Openvino之上对推理过程做优化。Openvino前端→ Plugin中间层→ Backend后端Openvino的优点在于它屏蔽了后端接口，提供了统一操作的前端API，开发者可以无需关心后端的实现，例如后端可以是。
OpenVINO——1. windows10 64位安装OpenVINO2021.1
Castlehe的博客
11-06 4598
Github主页-openvinotoolkit 1. 安装 1.1 找到安装文档。。。 看了一下，目前中文比较写的全应该是这个人的博客： windows10 64位 OpenVINO安装教程：巨长。。 正道的光是这里： OpenVINO的部署和使用:感谢这位博主提供的openVINO的get started链接：Get Started 找也是可以找到的。 X 下面这部分不看 安装就很麻烦，半天在github上找不到安装指引。。。（和常规认知不太一样） 直接去英特尔中文官网 找搜索，搜索 OpenV
OpenVino 2023.0学习使用（1）-简介
qq_44632658的博客
06-18 1662
模型制备。
OpenVINO示例介绍
jiugeshao的专栏
05-08 2899
接着前面系列博客来讲，这里会来跑下OpenVINO的自带示例，会在多个硬件平台上来测试（包括Intel Movidius Neural Computer Stick 2)，神经棒的配置介绍见博主上一篇博客。 Intel Movidius Neural Computer Stick 2使用(PC-Based Ubuntu）_竹叶青lvye的博客-CSDN博客接着博主前面的系列博客继续讲，这篇来介绍上Intel的第二代加速神经棒的使用，主要还是参考官网来配置。前面很多博客也都访问过多家公司的官网，比较下来，I
深度学习模型部署OpenVINO加速--OpenVINO部署YOLOv5,YOLOv7模型
chenhaogu的博客
09-06 2590
OpenVINO工具套件全称是OpenVisualInference &NOptimization，是Intel于2018年发布的，开源、商用免费、主要应用于计算机视觉、实现神经网络模型优化和推理计算(Inference)加速的软件工具套件。由于其商用免费，且可以把深度学习模型部署在英尔特CPU和集成GPU上，大大节约了显卡费用，所以越来越多的深度学习应用都使用OpenVINO工具套件做深度学习模型部署。OpenVINO是一个开源工具包，可优化和部署深度学习模型。
OpenVINO模型部署（权重转化）
epic_Lin的博客
03-13 1519
其中mean、scale为归一化后计算的均值方差的结果。3. 关于图像通道的问题,注意。这样在部署后图像就不需要再进行。
openvino：OpenVINO:trade_mark:工具包存储库
02-05
-深度学习部署工具包存储库 该工具包允许开发人员通过与应用程序逻辑集成的高级C ++推理引擎API部署预训练的深度学习模型。 此开源版本包括几个组件： ， 和以及CPU，GPU，MYRIAD，多设备和异构插件，以加速在和 ...
YOLOV7+openVINO+WINDOWS11+C++部署
05-08
YOLOV7+openVINO+WINDOWS11+C++部署
C#调用OpenVINOTM部署Al模型项目源码，C#调用Intel推出的 OpenVINO工具套件，进行深度学习
02-29
C#调用OpenVINOTM部署Al模型项目开发项目，简称OpenVinoSharp，这是一个示例项目，该项目实现在C#编程语言下调用Intel推出的 OpenVINO 工具套件，进行深度学习等Al项目在C#框架下的部署。该项目由C++语言编写Open...
book:《深度学习图像识别技术：基于TensorFlow Object Detection API和Intel OpenVINO》
05-10
《深度学习图像识别技术：基于TensorFlow Object Detection API和OpenVINOTM工具套件》【随书资料下载链接】 （提取码：af62） （提取码: h9m3)【注意项】【OpenVINO版本】由于OpenVINO版本不断迭代，请读者选择跟书...
深度学习分类项目：MobileNet轻量化网络分类
最新发布
04-06
深度学习分类项目：MobileNet轻量化网络分类；深度学习分类项目：MobileNet轻量化网络分类；深度学习分类项目：MobileNet轻量化网络分类；深度学习分类项目：MobileNet轻量化网络分类；深度学习分类项目：MobileNet...
深度学习系列37：CLIP模型
热门推荐
kittyzc的博客
06-07 2万+
含义：CLIP（Contrastive Language-Image Pre-training） git地址：https://github.com/openai/CLIP paper：https://arxiv.org/abs/2103.00020 安装：pip install git+https://github.com/openai/CLIP.git
深度学习系列25：Attention机制
kittyzc的博客
05-09 1万+
1. 从embedding到Encoder-Decoder 1.1 Embedding 首先需要用到embedding，把K维的0-1特征向量用k维的浮点数特征向量表示。直观代码如下： from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(100,2, input_length=7))#输入维，输出维 data = np.array([[0
深度学习系列27：VAE生成模型
kittyzc的博客
05-15 1万+
1. AE AE（Autoencoder），自动编码器。 我们常用的encoder-decoder即为最简单的一种AE。训练过程中加上一些扰动，就可以变成去噪自编码器（DAE）： 或者用遮盖（MIM，mask image modeling）的方法来加扰动： 2. VAE 损失为重构误差+KL散度，对应GAN中的判别器。 对于每一个样本，需要用神经网络拟合均值uuu和方差δ2\delta^2δ2，然后用标准正态分布采样得到Z，然后再恢复成X。其中方差项是核心，是用来进行对抗生成的关键。重构部分误差项会让
openvino可以用于图像识别吗
07-08
是的，OpenVINO可以用于图像识别任务。OpenVINO提供了一系列的工具和库，用于加速和优化深度学习模型的推理，包括图像识别任务。 使用OpenVINO进行图像识别，您可以按照以下步骤进行操作： 1. 准备模型：选择适合图像识别任务的深度学习模型，例如经典的图像分类模型如ResNet、MobileNet等。您可以从开源模型库或其他来源获取这些模型。 2. 转换模型：使用OpenVINO提供的Model Optimizer工具，将选定的深度学习模型转换为OpenVINO支持的推理模型格式。这个过程会将模型进行优化，以便在目标硬件上获得更好的性能。 3. 配置推理引擎：使用OpenVINO提供的Inference Engine API，配置和初始化推理引擎。在这一步中，您需要指定要使用的硬件设备（如Intel CPU、GPU、VPU等）以及其他推理参数。 4. 进行推理：通过加载转换后的模型文件，输入待识别的图像数据，并调用推理引擎的推理函数进行图像识别。推理函数会输出模型对图像的分类结果或其他相关信息。 5. 后处理和结果展示：根据需要，您可以对推理结果进行后处理，例如使用阈值过滤分类结果、绘制边界框等。最后，您可以将识别结果展示出来，如在图像上标注类别或输出到其他应用程序。 通过以上步骤，您可以使用OpenVINO进行图像识别任务，并获得高效、快速的推理结果。请注意，具体的实现细节可能因应用场景和模型的不同而有所差异，建议参考OpenVINO的官方文档和示例代码来进行操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值