OpenVINO(4)：Intel DLDT介绍

最新推荐文章于 2021-08-11 19:06:22 发布
最新推荐文章于 2021-08-11 19:06:22 发布
阅读量1.3k 收藏 4
点赞数
分类专栏： OpenVINO 文章标签： openvino 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rangfei/article/details/110056222
版权

1. 部署挑战

将深度学习网络从培训环境部署到嵌入式平台进行推理可能是一项复杂的任务，它带来了许多必须解决的技术挑战：

  • 行业内有许多广泛使用的深度学习框架，如：Caffe, TensorFlow, MXNet, Kaldi等。
  • 通常，深度学习网络的训练在数据中心或服务器群中执行，而推理可能在嵌入式平台上进行，针对性能和功耗进行了优化。这些平台通常受限于软件（编程语言，第三方依赖，内存消耗，支持的操作系统），和硬件（不同的数据类型，有限的功率范围），因此通常不推荐（有时甚至不可能） 使用原始训练框架进行推理。
  • 部署过程的其他复杂性包括支持各种层类型和网络正变得越来越复杂。显然，确保变换网络的准确性并非易事。

2. 部署工作流程

该过程假定您使用受支持的框架之一训练了网络模型。下面的方案说明了部署典型的深度学习模型的工作流程：
在这里插入图片描述

工作流程：

  1. 配置指定框架的模型优化器。
  2. 运行模型优化器，根据经过训练的网络拓扑，权重和偏差值以及其他可选参数，生成模型的优化中间表示（IR）。
  3. 使用推理引擎示例程序在目标环境中以IR格式测试模型。
  4. 在应用程序中集成推理引擎，以在目标环境中部署模型。

3. 模型优化器

模型优化器是一个跨平台的命令行工具，可促进培训和部署环境之间的转换，执行静态模型分析并自动调整深度学习模型，以便在端点目标设备上实现最佳执行。

模型优化器支持多种深度学习框架和格式。运行模型优化器时你不需要考虑目标平台的类型，因为相同的输出(MO)可以运用于所有的目标设备。

3.1 模型优化器工作流程

此过程假定您使用受支持的框架之一训练了网络模型。模型优化器的工作流程如下：

  • 针对训练模型的深度学习框架配置模型优化器
  • 提供包含特定网络拓扑，调整后的权重和偏差（带有一些可选参数）的训练网络作为输入。
  • 运行模型优化器来执行指定的模型优化。精确优化是针对特定框架的，可参照相应文档。
  • 模型优化器生成网络的中间表示（IR）作为输出，该网络用作所有目标上的推理引擎的输入。该IR是一对用于描述真个模型的文件：
    • .xml：拓扑文件 - 描述网络拓扑
    • .bin ：训练的数据文件 - 包含权重和偏差的二进制数据

3.2 模型优化器是如何工作的

模型优化器加载一个模型到内存中，然后读取它生成一个内部表示（internal representation）并优化它，最后产生中间表示（Intermediate Representation）。IR是推理引擎唯一识别的形式。
模型优化器有两个目的：

  1. 产生一个有效的IR。
    如果这个主要的中间文件无效，那么推理引擎将无法工作。模型优化器的主要责任就是生成两个文件(.xml 和 .bin)来描述IR。
  2. 产生一个经过优化的IR
    预训练模型包含对训练很重要的层，例如Dropout层。这些层在推理期间是无用的，并且可能会增加推理时间。在许多情况下，可以从生成的中间表示中自动删除这些层。但是，如果一组图层可以表示为一个数学运算，因此可以表示为单个图层，则模型优化程序会识别这些图案并用唯一的图层替换这些图层。结果IR具有比原始模型更少的层。这样就减少了推理时间。

为了生成有效的IR，模型优化器必须能够读取原始模型层，处理它们的属性并以IR格式表示它们，同时保持生成的IR的有效性。

3.3 对于模型你需要知道什么

在已知的框架和神经网络拓扑中存在许多共同的层。比如：Convolution, Pooling和Activation。要读取原始模型并生成模型的IR，模型优化程序必须能够使用这些层。
模型优化器已支持的框架层见：Supported Framework Layers
如果你使用的拓扑层不在上述列表内，请参考Custom Layers in the Model Optimizer来优化模型。

3.4 模型优化器的目录结构

所有的OpenVINO或DLDT工具包中，模型优化器的目录结构都一样：

|-- model_optimizer
    |-- extensions
        |-- front - Front-End framework agnostic transformations (operations output shapes are not defined yet). 
            |-- caffe - Front-End Caffe-specific transformations and Caffe layers extractors
                |-- CustomLayersMapping.xml.example - example of file for registering custom Caffe layers (compatible with the 2017R3 release)
            |-- kaldi - Front-End Kaldi-specific transformations and Kaldi operations extractors
            |-- mxnet - Front-End MxNet-specific transformations and MxNet symbols extractors
            |-- onnx - Front-End ONNX-specific transformations and ONNX operators extractors            
            |-- tf - Front-End TensorFlow-specific transformations, TensorFlow operations extractors, sub-graph replacements configuration files. 
        |-- middle - Middle-End framework agnostic transformations (layers output shapes are defined).
        |-- back - Back-End framework agnostic transformations (preparation for IR generation).        
    |-- mo
        |-- back - Back-End logic: contains IR emitting logic
        |-- front - Front-End logic: contains matching between Framework-specific layers and IR specific, calculation of output shapes for each registered layer
        |-- graph - Graph utilities to work with internal IR representation
        |-- middle - Graph transformations - optimizations of the model
        |-- pipeline - Sequence of steps required to create IR for each framework
        |-- utils - Utility functions
    |-- tf_call_ie_layer - Source code that enables TensorFlow fallback in Inference Engine during model inference
    |-- mo.py - Centralized entry point that can be used for any supported framework
    |-- mo_caffe.py - Entry point particularly for Caffe
    |-- mo_kaldi.py - Entry point particularly for Kaldi
    |-- mo_mxnet.py - Entry point particularly for MXNet
    |-- mo_onnx.py - Entry point particularly for ONNX
    |-- mo_tf.py - Entry point particularly for TensorFlow


3.5 配置模型优化器

脚本自动配置
可以使用脚本一次配置所有支持的框架的模型优化器，也可以只针对某一个框架进行优化，配置脚本在："<INSTALL_DIR>/deployment_tools/model_optimizer/install_prerequisites"，Linux下通常是/opt/intel/deployment_tools/model_optimizer/install_prerequisites
运行"install_prerequisites.sh"

手动配置

  1. 进入模型优化器的目录
cd <INSTALL_DIR>/deployment_tools/model_optimizer/
  1. 创建虚拟化环境
    这一步不是必须的，但Intel官方文档强烈建议这么做，因为这样不会影响到全局的Python环境。
# 创建虚拟环境
virtualenv -p /usr/bin/python3.6 .env3 --system-site-packages

# 激活虚拟环境
virtualenv -p /usr/bin/python3.6 .env3/bin/activate
  1. 安装依赖文件
# 安装所有框架的依赖
pip3 install -r requirements.txt

#安装指定框架的依赖
pip3 install -r requirements_xxx.txt

使用protobuf库配置caffe的模型优化器
参考Configuring the Model Optimizer

3.6 将模型转换为IR

简单默认转换
可以在模型目录下通过mo.py脚本来进行转换

cd <INSTALL_DIR>/deployment_tools/model_optimizer

# 简单转换所有支持框架的模型
python3 mo.py --input_model INPUT_MODEL

#For example:
    python3 mo.py --input_model /user/models/model.pb
    python3 mo.py --framework tf --input_model /user/models/model.pb


4. 推理引擎

推理引擎是一个运行时库，它提供统一的API以将推理与应用程序逻辑集成：

  • 作为模型的输入。该模型以模型优化器生成的中间表示（IR）的特定形式呈现。
  • 针对目标硬件的优化推理执行。
  • 在嵌入式推理平台上提供减少工作流程的推理解决方案。

推理引擎支持多个图像分类网络的推断，包括AlexNet，GoogLeNet，VGG和ResNet系列网络，完全卷积网络（如用于图像分割的FCN8）和物体检测网络（如Faster R-CNN）。

推理引擎软件包包含headers, 运行时库和控制台应用程序，演示了如何在应用程序中使用推理引擎。

4.1 推理引擎的组件

核心库
libinference_engine.so，windos下为inference_engine.dll

该库以C++语言编写，包含下列类：
读取网络： InferenceEngine::CNNNetReader
处理网络信息： InferenceEngine::CNNNetwork
创建推理引擎核心对象以使用设备： InferenceEngine::Core
执行并传递输入输出： InferenceEngine::ExecutableNetwork and InferenceEngine::InferRequest

特定设备的插件库
针对每一个支持的目标设备，推理引擎提供一个插件（动态或共享库），其中包含对该设备进行推理的完整实现。如下：

PLUGIN库名称For Linux依赖库 For Linux
CPUlibMKLDNNPlugin.solibmklml_tiny.so, libiomp5md.so
GPUlibclDNNPlugin.solibclDNN64.so
FPGAlibdliaPlugin.solibdla_compiler_core.so, libdla_runtime_core.so
MYRIADlibmyriadPlugin.soNo dependencies
HDDLlibHDDLPlugin.solibbsl.so, libhddlapi.so, libmvnc-hddl.so
GNAlibGNAPlugin.solibgna_api.so
HETEROlibHeteroPlugin.soSame as for selected plugins
MULTIlibMultiDevicePlugin.soSame as for selected plugins

注：WindowsOS下库及依赖库名称相同，只是前缀没有lib以及后缀改为.dll。
需确保所有的库及依赖库都添加到了环境变量里。可使用setupvars.sh来设置环境变量。

使用推理引擎API的常用流程

  1. 读取IR
    使用InferenceEngine::CNNNetReader类读取IR文件到目标类InferenceEngine::CNNNetwork中。这个类表明网络已经加载到内存中。

  2. 准备输入输出格式
    加载网络后，指定输入和输出精度以及网络上的布局。使用InferenceEngine::CNNNetwork::getInputsInfo() 和InferenceEngine::CNNNetwork::getOutputsInfo().

  3. 创建推理引擎核心对象
    创建对象以工作在不同的设备上，所有设备插件都有Core对象在内部管理。通过每个设备加载特定的配置（InferenceEngine::Core::SetConfig），并注册此设备的扩展（InferenceEngine::Core::AddExtension）。

  4. 编译并加载网络到设备
    将（InferenceEngine::Core::LoadNetwork()）方法与特定设备（例如CPU，GPU等）一起使用，以在设备上编译和加载网络。传递每个目标的负载配置以进行此编译和加载操作。

  5. 设置输入数据
    加载网络后，可以使用对象（InferenceEngine::ExecutableNetwork）创建InferenceEngine :: InferRequest，在其中用信号通知输入缓冲区以用于输入和输出。指定设备分配的内存并直接将其复制到设备内存中，或者告诉设备使用应用程序内存来​​保存副本。

  6. 执行
    定义输入和输出内存后，选择执行模式：
    同步 - 使用InferenceEngine::InferRequest::Infer()方法，程序会阻塞直到推理结束。
    异步模式 - 使用InferenceEngine::InferRequest::StartAsync()方法。可以通过InferenceEngine::InferRequest::Wait() 来检查状态。

  7. 获取输出
    推理结束后，获取输出内存或去读先前提供的内存。使用InferenceEngine::IInferRequest::GetBlob() 。

4.2 推理引擎内存原语

Blobs
InferenceEngine::Blob是操作内存的主要的类。通过这个类可以读写内存，获取内存结构体信息等。
针对特定布局创建Blob对象的方法是使用带有
使用特定布局创建Blob对象的正确方法是使用带有InferenceEngine :: TensorDesc的构造函数。
如：

InferenceEngige::TensorDesc tdesc(FP32, {1, 3, 227, 227}, InferenceEngine::Layout::NCHW);
InferenceEngine::Blob::Ptr blob = InferenceEngine::make_shared_blob<float>(tdesc);

布局
InferenceEngine :: TensorDesc是一个提供布局格式描述的特殊类。
这个类允许使用标准格式创建平面布局，也可以使用InferenceEngine :: BlockingDesc创建非平面布局。
如果要创建复杂的布局，可以使用InferenceEngine :: BlockingDesc，它允许使用偏移和strides来定义被阻塞的内存。

示例

  1. 使用参数 {N: 1, C: 25, H: 20, W: 20} 定义一个blob
InferenceEngine::BlockingDesc({1, 20, 20, 25}, {0, 2, 3, 1}); // or
InferenceEngine::BlockingDesc({1, 20, 20, 25}, InferenceEngine::Layout::NHWC);
  1. 如果内存的实际参数为 {N: 1, C: 25, H: 20, W: 20}但是被限制在8通道，那么可以使用下一个参数定义它
InferenceEngine::BlockingDesc({1, 4, 20, 20, 8}, {0, 1, 2, 3, 1})

  1. 如果布局内包含，也可以设置strides和偏移

  2. 如果有一个复杂的blob布局，又不想计算数据的实际偏移量，则可以使用方法

InferenceEngine::TensorDesc::offset(size_t l) 或 InferenceEngine::TensorDesc::offset(SizeVector v).
InferenceEngine::BlockingDesc blk({1, 4, 20, 20, 8}, {0, 1, 2, 3, 1});
InferenceEngine::TensorDesc tdesc(FP32, {1, 25, 20, 20}, blk);
tdesc.offset(0); // = 0
tdesc.offset(1); // = 8
tdesc.offset({0, 0, 0, 2}); // = 16
tdesc.offset({0, 1, 0, 2}); // = 17
  1. 如果想创建一个平面格式的TensorDesc和N维（N可以是不同的1,2,4等），可以使用方法InferenceEngine :: TensorDesc :: getLayoutByDims。
InferenceEngine::TensorDesc::getLayoutByDims({1}); // InferenceEngine::Layout::C
InferenceEngine::TensorDesc::getLayoutByDims({1, 2}); // InferenceEngine::Layout::NC
InferenceEngine::TensorDesc::getLayoutByDims({1, 2, 3, 4}); // InferenceEngine::Layout::NCHW
InferenceEngine::TensorDesc::getLayoutByDims({1, 2, 3}); // InferenceEngine::Layout::BLOCKED
InferenceEngine::TensorDesc::getLayoutByDims({1, 2, 3, 4, 5}); // InferenceEngine::Layout::NCDHW
InferenceEngine::TensorDesc::getLayoutByDims({1, 2, 3, 4, 5, ...}); // InferenceEngine::Layo

参考链接

https://docs.openvinotoolkit.org/2019_R2/_docs_IE_DG_Introduction.html

翔底
关注
专栏目录
OpenVINO系列02-深度学习部署工具包（DLDT）介绍
kan2016的博客
04-28 3272
1.深度学习部署工具包（DLDT）包括： 深度学习模型优化器（Deep Learning Model Optimizer），一种跨平台的命令行工具，用于导入模型并使用推理引擎为最佳执行做好准备。模型优化器导入，转换和优化模型，这些模型在流行的框架中训练，例如Caffe *，TensorFlow *，MXNet *，Kaldi *和ONNX *。 深度学习推理引擎（Deep Learning I...
OpenVINO(5)：编译DLDT应用程序示例
翔底的博客
11-25 637
1. 说明 在OpenVINO支持的各个硬件中，CPU、GPU等都是开源的，所以拿到源代码之后可以直接在本地进行编译和安装。 因为我使用的平台没有GPU等其他外设，所以这里以CPU为例。 1.1 环境 硬件 Intel SkyLake平台 Intel® Xeon® 系列CPU 软件 Ubuntu18.04 GCC 7.3 Cmake 3.10.2 python 3.7.1 2. 编译过程 2.1 编译DLDT推理引擎 下载源代码 因为源代码中包含其他项目的第三方源代码，直接下载这些代码会为空，所以建议直
学习笔记(15):英特尔®OpenVINO™工具套件中级课程-视频分析推理流程
铤铤的Blog
08-11 603
英特尔® OpenVINO™工具套件中级课程面向有一定基础的学员。若您是一名计算视觉技术的初学者，我们将建议您先学习英特尔® OpenVINO™工具套件的初级课程，再进行中级课程的学习。本课程将主要介绍计算机视觉应用的相关知识，特别是英特尔® OpenVINO™工具套件的整体架构以及使用方法。整个课程的视频课程部分包含了OpenVINO™模型优化器和推理引擎的使用，视频解码的OpenCV...
dldt安装的问题
daniaokuye的专栏
03-25 272
1. 背景 openCV的dldt模块集成了一系列的神经网络的方法，可以直接部署到intel的硬件“神经棒”上去。 鉴于OpenCV一贯的小而精的模型，我们看中它的模型和模型参数，想看看是不是也可以部署到其他框架下。 2. dldt的模型 下载：opencv的神经网络的一系列的模型可以再github开源项目open_model_zoo看到，根据readme可以下载相对应的模型（xml）和模型参数...
HTML之dl、dt、dd（也许这是你还没用过的标签，但它们非常实用）
热门推荐
子非魚
08-27 4万+
一、dl dt dd认识 html 是一组合标签，使用了dt dd最外层就必须使用dl包裹，此组合标签我们也又叫表格标签，与table表格类似组合标签，故名我们也叫dl表格（扩展阅读：table tr td、table tr th表格布局）。 为常用标题+列表型标签。如没有对dl dt dd标签初始CSS样式，默认dd列表内容会一定缩进。（扩展阅读：ul li、ol li、li
OpenVINO入门笔记
Tosonw的博客
06-17 5045
一、简介 官方原文：https://software.intel.com/zh-cn/openvino-toolkit/ 使用英特尔®分布式OpenVINO™工具包开发模拟人类视觉的应用程序和解决方案。该工具包基于卷积神经网络（CNN），可扩展英特尔®硬件（包括加速器）的工作负载，并最大限度地提高性能。 在边缘启用基于CNN的深度学习推理 支持跨计算机视觉加速器的异构执行 - CPU，GPU，英...
raspberry pi 4 树莓派4 代 64 位系统 aarch64，通过 yocto 编译安装 intel openvino 推理引擎
dxxdxxd的博客
09-03 3400
raspberry pi 4 树莓派4 代 64 位系统 aarch64，通过 yocto 编译安装 intel openvino 推理引擎 序 使用 intel neural compute stick 需要用到 openvino 推理引擎，然而 raspberry pi 4 aarch64 系统并没有编译好的安装包，需要借助 yocto 环境来构建安装包。本文基于 yocto zeus 分支演示环境准备及构建安装过程。 准备环境 操作系统： ubuntu 18.04 获取源代码： git clone -
在Ubuntu 18.04上部署Intel OpenVINO Toolkit并使用CPU与iGPU运行官方人脸识别Demo
weixin_43741611的博客
04-17 7826
本博客
OpenVINO测试实践：C#与YOLOv8的应用探索
该套件包括一系列库和组件，例如深度学习部署工具（DLDT）和模型优化器，旨在帮助开发者更容易地将深度学习模型整合进应用中，并且优化它们在各种英特尔平台上（例如CPU、集成GPU、VPU等）的性能。 描述中的...
dl dt 和dd的用法
happyYYhy的博客
02-28 8900
dl默认的是块状元素 用来创建一个普通的列表, 用来创建列表中的上层项目， 用来创建列表中最下层项目， 和都必须放在标志对之间。 dl  —— define list——定义列表 dt ——define list title——用于生成定义列表中各列表项的标题，重复使用可以定义多个列表项的标题。 dd——define list define——用于生成定义列表各列表项
hddl-vision-accelerator-infographic（英特尔的视觉加速解决方案 英文版）
12-12
英特尔的视觉加速解决方案 为了使企业发挥最大潜力，他们需要一种视觉解决方案，该解决方案可以在边缘分析大量数据并在几秒钟内提供可行的见解。英特尔®视觉加速器设计产品正在改变零售，制造和智慧城市，因此数据可以立即转化为行动。
dl和dt标签是什么意思_HTML dt标签教程和示例
cunjiu9486的博客
10-14 6615
dl和dt标签是什么意思HTML provides the <dt> element in order to add a term in description or definition list. <dt> element is used inside a <dt> element and generally followed by a <dt>...
干货 | 函数详解 ​OpenVINO Inference Engine SDK
OpenVINOCC的博客
09-21 2082
干货 | 函数详解 ​OpenVINO Inference Engine SDK 爱学习的OV OpenVINO 中文社区 内 容 来 源|刘焕云 内 容 排 版| 晏 杨 0 1 基本介绍 OpenVINO 是针对英特尔针对自家现有的硬件平台开发的高性能计算机视觉和深度学习视觉应用的工具套件，支持英特尔自家的 CPU、GPU、FPGA、VPU 等硬件。OpenVINO 包含两个大模块：模型转换模块 Model Optimizer 和推理模块 Inference Engine。本文讲解推理模块常见的 C+
Openvino 模型转换命令mo.py
weixin_42730667的博客
12-05 4377
openvino中用于将训练的模型转换成IR文件，可以使用mo.py脚本 该脚本位于： /opt/intel/openvino/deployment_tools/model_optimizer/mo.py 查看其帮助信息： 里面命令行参数较多，其中比较重要的参数为： -input_model: 为输入的训练的模型，如果使用的是caffe训练的模型则应该为XXX.caffemodel ...
巨详细！使用OpenCV和OpenVINO轻松创建深度学习应用
华章IT官方博客
08-31 2370
导读：本文来自《OpenCV深度学习应用与性能优化实践》，作者团队也是OpenCV DNN 模块的主要贡献者，是国内唯一的系统介绍OpenCVDNN 推理模块原理和实践的书。OpenC...
英特尔OpenVINO深度学习框架--ubuntu16.04上的安装手记
yuanlulu的博客
01-23 9736
概述 OpenVINO是intel的深度学习工具框架，本质是一个支持intel各种硬件（CPU、集显、FPGA和Movidius VPU）的推理机。 这个工具本身不做训练，但是可以把其它深度学习框架（如 Caffe, TensorFlow, MXNet）训练的模型文件转化为自己支持的格式。 所以OpenVINO分为两部分（github上源码也分为这么两个目录）： Inference Engine...
OpenVINO系列01_初识OpenVINO
kan2016的博客
04-15 2万+
1.什么是OpenVINO工具包 OpenVINO™工具包可快速部​​署模拟人类视觉的应用程序和解决方案。该工具包基于卷积神经网络（CNN），可扩展英特尔®硬件的计算机视觉（CV）工作负载，从而最大限度地提高性能。OpenVINO™工具包包括深度学习部署工具包（DLDT）。 OpenVINO工具包： 在边缘启用基于CNN的深度学习推理 支持跨英特尔®CPU，英特尔®集成显卡，英特尔®FPG...
OpenVINO 公共模型笔记 （二）
qq_25717761的博客
05-18 686
OpenVINO 公共模型笔记 找到公共模型使用案例测试使用工具包已有模型模型使用使用Python API加载模型并应用于真实场景 找到公共模型 找到OpenVINO工具包所在文件夹 linux文件夹根目录位置一般在 /opt/intel/computer_vision_sdk/ Windows文件夹根目录位置在 C:\Program Files (x86)\IntelSWTools\openvino\ 进入到开发工具包中的模型下载文件夹 cd /opt/intel/computer_vis
OpenVINO InferenceEngine之CNNNet、CNNLayer、Blob介绍
weixin_42730667的博客
11-08 2492
OpenVINO IE模块对整个网络拓扑结构的管理主要是通过Net 和Layer，Data(Blob)进行管理的，看起来和caffe中的Net,Layer,Blob是一样的层次结构,是不是有点惊奇，技术总是相同的，只是每个框架具体的实现方式不一样，历史总是惊人的相似。 废话不多说，看下OpenVINO的管理框架。 ICNNNetwork ICNNNetwork 类接口 OpenVINO对整...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

翔底

您的鼓励将是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值