边缘计算框架_黑科技 | 英特尔发布边缘计算加速框架最新版本 | OpenVINO 2019R02...

点击上方↑↑↑“OpenCV学堂”关注我

最新版本OpenVINO特性黑科技

概述

英特尔自从发布OpenVINO开发框架以来，因为其强大的模型转换与模型推理加速性能，迅速得了广大开发者的认同与中小公司追捧，此外支持各种硬件指令加速、各种不同精度模型、支持模型拓扑结构与层次查看，支持集成现有的深度学习框架，OpenCV等计算机视觉开发框架集成使用。其整体架构与推理流程如下：

模型优化器(Model Optimizer)

支持各种深度学习框架导出的模型压缩与优化，支持从FP32、FP16、INT8的模型转换与推理加速，支持Cafffe、tensorflow、darknet等深度学习框架

推理引擎(Inference Engine)

支持各种常见的计算机视觉深度神经网络模型加速、支持硬件指令集包括英特尔CPU、GPU、NCS加速棒、FPGA加速。使用OpenVINO 推理引擎可以在不改变任何代码的情况下，让模型推理时间缩短十倍左右，大多数模型可以做到CPU级别实时运行。

模型库(Model Zoo)

英特尔官方提供的预训练模块库，包括人脸检测、行人检测、车辆检测、车牌识别、行人属性分析、道路分割、人脸表情识别、Landmark提取、车辆属性识别、场景文字检测、图像超分辨、行人ReID跟踪、文本识别等超过30+常见应用场景下的预训练模型，可以直接使用，而且效果很好。

工作台(workbench)

深度学习模型加载与可视化各层显示，自动检测模型性能、各层与精度调整，支持INT8校验。这个是最新版本中才有的新功能模块，安装好OpenVINO ToolKit之后，启动可以通过chrome浏览器来访问https://127.0.0.1:5665即可。

支持语言：

支持C++、Python SDK开发，下载安装开发包之后即可进行开发工作，有大量示例代码可以参考。

R02的新特性支持

01

新增workbench支持，提供可视化模型拓扑结构、性能、精度、简单配置、精度转换支持。

02

支持多中设备的推理，通过自动平衡加载技术，这个很值得拥有，有多的加速棒的人可以采用这种方式。支持多个平台。

03

提供了新的推理引擎API接口，自动匹配可用设备，无需手动指定。支持可用设备查询。

04

支持FP16中间层序列化、相比FP32，模型大家可以减小2倍左右，提高模型可用性与对内存要求。

05

支持传统的机器学习模型加速，包括自然语言处理、语音识别等，支持的非视觉模型包括：

• GNMT

• BERT

• TNDD(NNet3)

• ESPNet

06

基于分布式的安装程序，更加容易安装部署，无需重复配置开发环境。

程序测试，1080P，CPU i7运行！ 

下载地址

https://software.intel.com/en-us/computer-vision-sdk/choose-download

SDK参考手册

https://software.intel.com/en-us/computer-vision-sdk/deep-learning-cv

推荐阅读

请给我一个 在看

• OpenVINO开发系列文章汇总

• 首发 | OpenVINO开发配套视频教程发布了

• 英特尔开源了OpenVINO模型训练框架

• OpenVINO场景文字检测与识别

• 如何编译OpenCV4.1.0支持OpenVINO推断引擎加速支持