将OpenVINO的IR模型转成blob模型

最新推荐文章于 2024-08-05 10:00:00 发布
最新推荐文章于 2024-08-05 10:00:00 发布
阅读量826 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rookie_wei/article/details/109362282
版权

先安装好环境和相关工具:

https://blog.csdn.net/rookie_wei/article/details/109191028

 

然后下载IR模型：

https://github.com/openvinotoolkit/open_model_zoo/blob/master/models/intel/index.md

wget https://download.01.org/opencv/2020/openvinotoolkit/2020.2/open_model_zoo/models_bin/3/face-detection-retail-0005/FP32/face-detection-retail-0005.xml
wget https://download.01.org/opencv/2020/openvinotoolkit/2020.2/open_model_zoo/models_bin/3/face-detection-retail-0005/FP32/face-detection-retail-0005.bin

 

IR转blob

/usr/local/deployment_tools/inference_engine/lib/intel64/myriad_compile \
    -m face-detection-retail-0005.xml \
    -o fang-face-detection-retail-0005.blob \
    -VPU_MYRIAD_PLATFORM VPU_MYRIAD_2480 \
    -VPU_NUMBER_OF_SHAVES 8 \
    -VPU_NUMBER_OF_CMX_SLICES 8 \
    -ip U8 \
    -op FP32

 

 

__Fang Wei__
关注
OpenVINO模型转换
I am a coder
03-18 789
conda create -n openvino python=3.7 activate openvino cd C:\Program Files (x86)\IntelSWTools\openvino_2019.3.379\deployment_tools\model_optimizer pip install -r requirements_tf.txt MobilenetV1(已冻结): –input_model :指定输入模型路径 –out_dir :保存目录 –input_shape :指定模型的
使用pytorch输出onnx模型并转换成openvino的IR模型
ZHIKELIN的博客
07-13 3481
经过好几天的试错，终于成功转换出模型了，出错主要问题是各种包版本不一致的问题。 安装pytorch/torchvision 安装环境和包版本： Windows 10 torch：1.5.1； torchvision：0.6.1； python：3.7.6 onnx：1.7.0 openVino：Anaconda3-2020.02-Windows-x86_64.exe tensorflow>=1.2.0,<2.0.0 mxnet>=1.0.0,<=1.3.1 networkx=2.0
.onnx模型-》IR文件-》blob文件
sunchanglan151的博客
12-12 696
​​​​​​首先初始化一个临时环境变量，因为我没有设置永久环境变量 python mo_onnx.py --input_model <输入模型路经> --output_dir <输出模型路经> 但是这个地方好像需要设置均值和方差..?? 转换好了之后：转blob文件 compile_tool.exe -m C:\Users\19664\Desktop\changlan\onnx_to_IR\fire_yolox.xml -ip U8 -d MYRIAD -VPU_..
blob （Binary Large Object）
笔记
07-20 255
需要注意的是，由于BLOB文件存储的是二进制数据，因此在加载权重时需要确保模型结构与保存权重的模型结构完全匹配，以免出现错误。在深度学习中，二进制大对象（Binary Large Object，BLOB）通常指的是存储模型权重或预训练模型的文件。在深度学习中，模型的权重是模型在训练过程中学习到的参数。②加载模型权重：在需要使用已训练好的模型时，可以使用深度学习框架提供的函数或工具从BLOB文件中加载模型的权重。总结而言，在深度学习中，BLOB指的是存储模型权重或预训练模型的二进制文件。
【OpenVINO™】使用 OpenVINO™ GenAI 部署大语言模型快速构建一个Chat实例
最新发布
grape_yan的博客
08-05 1013
英特尔发行版 OpenVINO™ 工具套件基于 oneAPI 而开发，可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，适用于从边缘到云的各种英特尔平台上，帮助用户更快地将更准确的真实世界结果部署到生产系统中。通过简化的开发工作流程，OpenVINO™ 可赋能开发者在现实世界中部署高性能应用程序和算法。
openvino-＞blob文件遇到的问题
sunchanglan151的博客
10-31 383
还是记录下转换的过程吧，主要在这个目录下执行的操作： 最后执行的代码是： cd 到compile_tool.exe所在文件夹，执行 compile_tool。exe -m C:\Users\19664\Documents\openvinoresult\after\your_yolox.xml -ip U8 -d MYRIAD -VPU_NUMBER_OF_SHAVES 4 -VPU_NUMBER_OF_CMX_SLICES 4 1、环境配置问题， 运行转换程序报错："无法正确打开ng.
Openvino IR模型推理段错误（Segment error）
Msyusheng的博客
05-01 621
段错误（Segment error）一般解释为内存溢出导致的结果 参考 github 上开源的Openvino cpp 解释推理仓库代码， 在后期 Yolov5 模型训练完之后出现（Segment error） 因为原仓库代码使用的是 YolvoV5 3官方模型推理的结果，结果的输出层和现在最新的 Yolov5输出层有点不用，3layer->4layer，所以在结果推理的时候因为出现随机的map 数值，在出现负数的时候会导致代码中的循环片段无效。 在 detect.cp p代码片段为在这里插入代码
OpenVINO Toolkit 系列(三) —— 模型转换与推理加速
Rosen的博客
03-18 6023
OpenVINO™ 是用于优化和部署 AI 推理的开源工具包。 1. 提升计算机视觉、自动语音识别、自然语言处理和其他常见任务中的深度学习性能 2. 使用通过 TensorFlow、PyTorch 等流行框架训练的模型 3. 减少资源需求并在从边缘到云的一系列英特尔® 平台上高效部署
openvino 3D人姿模型转换教程 human-pose-estimation-3d-0001.xml下载
On the road
07-15 1194
openvino 3D人姿模型转换 human-pose-estimation-3d-0001.xml 进入目录 cd /opt/intel/openvino_2020.2.117/deployment_tools/open_model_zoo/tools/downloader 查看所有模型 sudo python downloader.py --print_all 选择下载模型 sudo python downloader.py --name human-pose-estimation-3d-0001
【OpenVINO】将TensorFlow模型转成IR文件，并部署到NCS2上运行
Pyrohjewel
05-06 6644
TensorFlow模型 自己写一个AlexNet模型，参见 模型转换 将模型专为pb文件: inputs = tf.placeholder(tf.float32, [1, 227, 227, 3]) model = AlexNetModel() score = model.inference(inputs) softmax = tf.nn.softmax(score, name='prob')...
OpenVINO部署-使用OpenVINO部署PP-YOLOE-项目实战-附整体详细流程教程.zip
01-18
OpenVINO提供了Model Optimizer工具，它可以将多种深度学习框架的模型转换为Intermediate Representation (IR) 文件。你需要使用Model Optimizer来转换PP-YOLOE的模型权重文件和配置文件。 ```bash mo --input_...
OpenVINO运行Tensorflow模型
11-20
在VS2017中配置OpenVINO环境，并运行Tensorlfow训练的MobileNet，包括Tensorflow模型转为OpenVINO模型，VS2017运行OpenVINO模型等,配置OpenCV等，详情请阅读我的博客【OpenVINO运行Tensorflow模型】
OpenVINO使用的FP16格式FaceNet模型
02-14
Intel神经棒使用的人脸识别模型，基于114759的模型使用OpenVINO进行的转换。可以运行在NCS、NCS2等平台，若是使用CPU建议下载FP32版
openvino部署-使用openvino部署NanoDet-IntelCPU-项目部署-附详细完整流程教程.zip
01-18
本教程将详细介绍如何使用OpenVINO部署NanoDet模型在Intel CPU上进行高效的推理，帮助开发者实现快速、高效的目标检测项目。 1. **OpenVINO简介** OpenVINO由Model Optimizer和Inference Engine两部分组成。Model ...
openvino部署-使用openvino部署RT-DETR部署-项目实战-附详细完整流程.zip
01-18
3. **编写推理代码**：使用OpenVINO的Inference Engine API编写代码，加载IR模型，设置输入和输出，执行推理操作。在代码中，我们需要创建InferenceEngine::Core对象，加载模型，创建执行上下文，分配输入和输出Blob...
使用 OpenVINO™ GenAI C++部署大语言模型 | 轻松构建一个Chat实例
dotNET跨平台
07-06 181
❝目前大语言模型十分火爆，相信不少开发者都想上手体验一番，但是对于我们这种技术有限的开发者，很难理清模型的推理过程以及输出输出处理，使得我们望尘莫及。那么现在随着OpenVINO™ 2024.2工具包的发布，他带来了最新的大语言模型部署工具OpenVINO.GenAI ，该工具包封装了目前一些常用的大语言模型部署流程，能够让我们对大语言模型刚入门的开发者也能够在自己电脑上跑起来。 本视频中，我们...
使用OpenVINO在本地CPU运行大模型的过程
ybdesire的专栏
04-27 851
本文在CPU上实测一下OpenVINO运行大模型ChatGLM3-6b的运行效果，并记录整个过程
OpenVINO IR与 ONNX模型加载速度的对比与实现
ARYAD的博客
12-22 1745
模型加载速度的快慢通常取决于多个因素，包括模型格式、模型的大小和复杂性、使用的框架以及底层硬件。总之，如果您在 Intel 硬件上进行模型部署，使用 OpenVINO IR 格式可能会在模型加载和运行时推理上提供性能上的优势。这是因为 OpenVINO 对 Intel 硬件有针对性的优化。而在非特定于 Intel 的硬件或需要跨框架兼容性的情况下，ONNX 可能是一个更灵活的选择。
OpenVINO InferenceEngine之CNNNet、CNNLayer、Blob介绍
weixin_42730667的博客
11-08 2467
OpenVINO IE模块对整个网络拓扑结构的管理主要是通过Net 和Layer，Data(Blob)进行管理的，看起来和caffe中的Net,Layer,Blob是一样的层次结构,是不是有点惊奇，技术总是相同的，只是每个框架具体的实现方式不一样，历史总是惊人的相似。 废话不多说，看下OpenVINO的管理框架。 ICNNNetwork ICNNNetwork 类接口 OpenVINO对整...
用openvino部署yolov5模型代码
09-06
### 回答1： 要部署YOLOv5模型代码，你需要使用OpenVINO框架和OpenVINO的Python API。可以根据官方文档中提供的步骤来安装OpenVINO，并使用YOLOv5的Python API来进行部署。 ### 回答2： 打开电脑上的IDE（集成开发环境），例如PyCharm或者Visual Studio Code，并创建一个新的Python项目。 1. 首先，你需要安装OpenVINO工具包。你可以从OpenVINO官方网站上下载并安装OpenVINO。 2. 在项目文件夹中，创建一个yolov5文件夹，并将下载的yolov5模型放置在该文件夹中。 3. 在项目文件夹中创建一个Python脚本，并导入需要的库。 4. 创建一个函数，在该函数中加载和预处理yolov5模型。使用OpenVINO的Model Optimizer工具将yolov5模型转换为OpenVINO支持的IR（Intermediate Representation）格式。 ```python from openvino.inference_engine import IECore import cv2 def load_model(model_xml, model_bin): ie = IECore() net = ie.read_network(model=model_xml, weights=model_bin) exec_net = ie.load_network(network=net, device_name='CPU') return exec_net model_xml = "yolov5/yolov5.xml" model_bin = "yolov5/yolov5.bin" net = load_model(model_xml, model_bin) ``` 5. 创建一个函数，用于执行推断（inference）。首先，读取输入图像并进行必要的预处理（例如，将图像大小调整为模型的输入大小、归一化等）。然后，将预处理后的图像传递给模型，使用`infer()`方法执行推断。 ```python def inference(image_path, exec_net): # 读取输入图像 image = cv2.imread(image_path) # 预处理图像（根据模型的要求） processed_image = preprocess_image(image) # 执行推断 output = exec_net.infer(inputs={input_blob: processed_image}) return output image_path = "test.jpg" output = inference(image_path, net) ``` 6. 根据yolov5模型的输出，解析推断结果并进行后处理。在yolov5模型中，可以通过output字典中的不同键来访问不同的输出层，例如检测框的位置、类别标签、置信度等。 ```python def parse_output(output): # 解析输出 bounding_boxes = output['bounding_boxes'] labels = output['labels'] confidences = output['confidences'] # 进行后处理（根据自己的需求进行处理） # .... return detections detections = parse_output(output) ``` 7. 最后，你可以根据需求对检测结果进行可视化或进行其他处理。 以上就是使用OpenVINO部署yolov5模型的简要代码示例。注意，具体的实现可能会根据你的环境和需求略有不同。还请参考OpenVINO和yolov5的官方文档以获取更详细的信息和示例。 ### 回答3： 使用OpenVINO部署Yolov5模型可以分为以下几个步骤： 第一步，安装和配置OpenVINO工具包。首先，从Intel官网下载并安装OpenVINO toolkit。安装完成后，需要通过执行openvino/bin/setupvars.sh脚本来设置环境变量，以便在命令行中使用OpenVINO工具。 第二步，下载Yolov5模型。从Yolov5的官方GitHub仓库下载yolov5模型的权重文件（.pt文件）。 第三步，将Yolov5模型转换为OpenVINO可识别的格式。使用OpenVINO提供的Model Optimizer工具，通过运行以下命令将Yolov5模型转换为OpenVINO支持的IR（Intermediate Representation）格式： ``` python3 mo.py --input_model yolov5s.pt --model_name yolov5s --data_type FP32 ``` 该命令将yolov5s.pt文件转换为IR格式，并指定输出文件名为yolov5s.xml和yolov5s.bin。 第四步，使用OpenVINO的推理引擎加载和运行转换后的Yolov5模型。在Python代码中导入OpenVINO的相关模块，然后执行以下步骤： ``` from openvino.inference_engine import IECore # 创建推理引擎的核心对象 ie = IECore() # 加载并设置Yolov5的IR模型 net = ie.read_network(model="yolov5s.xml", weights="yolov5s.bin") exec_net = ie.load_network(network=net, device_name="CPU") # 准备输入数据 input_blob = next(iter(net.input_info)) input_data = {"images": image} # 你的输入数据，如图片 # 执行推理 outputs = exec_net.infer(inputs=input_data) # 处理输出结果 # ... ``` 通过上述步骤，你就可以使用OpenVINO部署Yolov5模型，并对输入数据进行推理了。你可以根据具体需求调整模型名称、数据类型、设备名称等参数，以及根据实际情况处理输出结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值