OpenVINO(5):编译DLDT应用程序示例

1. 说明

在OpenVINO支持的各个硬件中,CPU、GPU等都是开源的,所以拿到源代码之后可以直接在本地进行编译和安装。
因为我使用的平台没有GPU等其他外设,所以这里以CPU为例。

1.1 环境

硬件
Intel SkyLake平台
Intel® Xeon® 系列CPU

软件
Ubuntu18.04
GCC 7.3
Cmake 3.10.2
python 3.7.1

2. 编译过程

2.1 编译DLDT推理引擎

  1. 下载源代码
    因为源代码中包含其他项目的第三方源代码,直接下载这些代码会为空,所以建议直接使用git克隆下来。链接为:https://github.com/opencv/dldt/
git clone https://github.com/opencv/dldt.git
  1. 初始化子模块
# 下载第三方代码
git submodule init
git submodule update --recursive
  1. 检查并安装依赖
    dldt/inference-engine目录下包含一个"install_dependencies.sh"脚本文件用于检查并安装编译所需的依赖文件。
cd dldt/inference-engine
./install_dependencies.sh
  1. 创建并进入build目录(optional)
mkdir build
cd build
  1. 编译源代码
cmake -DENABLE_CLDNN=OFF -DCMAKE_BUILD_TYPE=Release ..
make --jobs=$(nproc --all)

注:编译默认是使用GPU插件进行的,这需要GPU设备以及安装OpenCL驱动。所以这里使用"-DENABLE_CLDNN=OFF"以跳过该步骤,直接使用CPU编译。

  1. 设置环境变量
    要编译开放模型库内的DLDT应用程序需要将DLDT库添加到环境变量中。
    因为我这里是在OpenVINO toolkit基础之上再编译dldt的,所以只要在原来环境变量的基础上将dldt相关的路径修改成我指定的路径即可。(如果完全独立安装dldt会涉及到大量的依赖组件的安装,过程太麻烦了,而我实际只需要修改dldt的代码就可以,所以选择这种方式安装。)

打开配置环境变量脚本

# 安装OpenVINO toolkit后会可以直接运行该脚本配置环境变量
vim /opt/intel/openvino/bin/setupvars.sh

修改dldt相关内容

if [ -e $INSTALLDIR/deployment_tools/inference_engine ]; then
    #export InferenceEngine_DIR=$INTEL_OPENVINO_DIR/deployment_tools/inference_engine/share
    #system_type=$(\ls $INTEL_OPENVINO_DIR/deployment_tools/inference_engine/lib/) 
    #IE_PLUGINS_PATH=$INTEL_OPENVINO_DIR/deployment_tools/inference_engine/lib/$system_type

    # 我的Inference编译目录
    export InferenceEngine_DIR=/home/xxx/OpenVINO/dldt_old/inference-engine/build/share
    # 编译dldt后相关lib的路径
    system_type=/home/xxx/OpenVINO/dldt_old/inference-engine/bin/intel64/Release/lib
    IE_PLUGINS_PATH=$system_type

更新环境变量

source /opt/intel/openvino/bin/setupvars.sh

为方便,建议将上述命令添加到.barshrc文件中,(如:"/root/.barshrc"和"/home/raymond/.barshrc")

2.2 编译应用程序

  1. 下载源代码
git clone https://github.com/opencv/open_model_zoo.git
  1. 编译
cd open_model_zoo/demos
./build_demos.sh

编译完成之后会将demo程序存放到目录"$HOME/omz_demos_build/intel64/Release"中,如我的目录为"/home/xxx/omz_demos_build/intel64/Release"

注1:
在安装dldt时虽然已经设置了环境变量,但是运行build_demos.sh时还是会报没有设置环境变量的错,这是因为build_demos.sh文件默认是根据OpenVINO工具包安装的路径去设置的,而采用源代码编译的方式运行,其路径可能会不一致,所以报错。但因为我们之前已经手动设置过环境变量了,所以文件设置环境变量的部分可以直接删除(L30 - L48)。

注2:
open model zoo中的security_barrier_camera程序在使用源代码的方式编译时会报错,经查资料这是DLDT目前的一个issue,即暂时无法通过外部手段解决,官方建议是通过OpenVINO工具包的形式去编译。我这里选择直接删除此文件夹,这样不影响其他程序的编译。2019_R2 does not compile demos

  1. 下载机器学习模型
    以human_pose_estimation_demo为例
# 安装依赖
sudo -E pip3 install pyyaml requests


mkdir [INSTALL_DIR]/omz_demos_build/intel64/Release/topologies
cd [INSTALL_DIR]/open_model_zoo/tools/downloader
python3 downloader.py --all -o [INSTALL_DIR]/omz_demos_build/intel64/Release/topologies

downloader.py的作用是从Intel开源库(https://download.01.org/opencv/)中下载模型,我这里为方便将所有的模型全部下载到topologies文件夹下。也可以指定下载特定文件,如:

./downloader.py --name vehicle-license-plate-detection-barrier-0106,vehicle-license-plate-detection-barrier-0106-fp16, \
    vehicle-attributes-recognition-barrier-0039,vehicle-attributes-recognition-barrier-0039-fp16,license-plate-recognition-barrier-0001,license-plate-recognition-barrier-0001-fp16

下载FP32和FP16版本的车辆属性识别,车牌检测和车牌识别模型。

  1. 下载视频示例
mkdir [INSTALL_DIR]/omz_demos_build/intel64/Release/
git clone https://github.com/intel-iot-devkit/sample-videos.git

此时会从Intel开源库中下载所有的视频文件用于测试运行

3. 运行

./human_pose_estimation_demo -i sample-videos/classroom.mp4 -m ./topologies/Transportation/human_pose_estimation/mobilenet-v1/FP32/human-pose-estimation-0001.xml -d CPU -pc

结果如下图:
在这里插入图片描述


参考链接

Containerize DLDT App: Linux

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
YOLOv5是一种流行的目标检测算法,而OpenVINO 2022是一款用于深度学习模型部署和加速推理的工具包。结合使用YOLOv5和OpenVINO 2022可以实现高效的目标检测应用部署。 使用OpenVINO 2022部署YOLOv5的推理有以下步骤: 1. 安装OpenVINO 2022:首先需要下载和安装OpenVINO 2022工具包。安装完成后,配置OpenVINO的环境变量等设置。 2. 模型转换:YOLOv5的原始模型是使用PyTorch训练的,为了能够在OpenVINO中进行推理,需要将模型转换为OpenVINO支持的IR(Intermediate Representation)格式。可以使用OpenVINO提供的Model Optimizer工具来完成模型转换,具体命令如下: ```bash mo.py --input_model <path_to_yolov5_model> --model_name yolov5 -o <output_dir> --data_type FP16 ``` 这里的`<path_to_yolov5_model>`是原始YOLOv5模型的路径,`<output_dir>`是转换后的IR模型的输出目录,`--data_type`指定了推理过程中使用的数据精度,可以根据需求选择FP16或FP32。 3. 推理应用开发:根据使用场景和需求,使用OpenVINO提供的API开发推理应用程序。可以使用C++、Python等主流编程语言进行开发,OpenVINO提供了相应的API接口供开发者使用。开发过程中需要加载转换后的模型文件,并进行图像的预处理、推理计算等操作。 4. 编译和优化:使用OpenVINO提供的Model Optimizer工具,可以对推理应用进行编译和优化,以提高推理性能。具体命令如下: ```bash mo.py --input_model <model_xml> --model_name yolov5 --output_dir <output_dir> --data_type FP16 --batch 1 ``` 这里的`<model_xml>`是前面转换得到的IR模型的路径,`<output_dir>`是优化后的模型文件的输出目录,`--batch`指定了模型的批处理大小,可以根据需求进行调整。 5. 部署和推理:在部署和推理阶段,可以将优化后的模型和开发的应用程序部署到目标设备上,并进行推理计算。OpenVINO提供了适用于多种硬件平台的推理引擎,可以选择合适的推理引擎来进行部署。 综上所述,使用OpenVINO 2022部署YOLOv5的推理需要进行模型转换、推理应用开发、编译和优化等步骤。通过结合YOLOv5和OpenVINO 2022,可以实现高效的目标检测应用部署和推理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

翔底

您的鼓励将是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值