PaddleX 结合 OpenVINO 工具套件 ，优化深度学习算法CPU部署性能

引言

当今世界，深度学习技术正得以广泛应用，为工业质检、安防巡检、金融、医疗、能源等各行各业降本增效。然而，深度学习算法往往需要较高性能的计算芯片作为支撑，以满足大计算量、高推理速度等产业需求，这为众多企业带来了挑战。如果对企业已有的大批量低性能设备进行升级甚至更换，将产生巨大费用，导致企业智能化升级的前期投入硬件成本过高。

比如，在工业界，生产线上已有的工控机大多只配备了CPU, 而深度学习涉及海量计算，需要运算速度更快的GPU来处理，但GPU价格昂贵，全部升级为GPU的成本将非常高。

如何能在不升级硬件的情况下，尽量提升深度学习算法的性能？为此，百度飞桨通过全流程开发工具PaddleX与英特尔® OpenVINO™ 工具套件结合，给出了高效可行的解决方案。

百度飞桨与PaddleX

飞桨以百度多年的深度学习技术研究和业务应用为基础，是中国首个开源开放、技术先进、功能完备的产业级深度学习平台，集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体。目前，飞桨已凝聚超265万开发者，服务企业10万家，基于飞桨开源深度学习平台产生了34万个模型。飞桨能助力开发者快速实现AI想法，快速上线AI业务，从而帮助越来越多的行业完成人工智能赋能，实现产业智能化升级。

**为了进一步地贴合产业实际需求，百度飞桨推出了全流程开发工具PaddleX,全方位助力产业开发者将深度学习技术快速落地。**PaddleX以低代码形式支持开发者快速实现深度学习算法开发及产业部署，提供了极简Python API和可视化界面Demo两种开发模式，可一键安装，并针对CPU、GPU、人工智能芯片等通用硬件提供完善的部署方案。同时，PaddleX提供了一套RESTful API,使开发者可以快速自主构建深度学习服务。

PaddleX 一 飞桨全流程开发工具

全流程、低代码,快速完成深度学习算法开发

作为飞桨产品矩阵中的一个重要工具组件，PaddleX提供了一套极其易用的开发方案，使开发者可以快速完成多种计算机视觉算法的开发和优化，并实现高效部署上线。在深度学习广泛应用的视觉计算方面，PaddleX提供了图像分类、目标检测、实例分割和语义分割四种视觉任务解决方案。

**得益于飞桨轻重化推理引擎Paddle Lite多平台、高性能的特点，开发者可以便捷地完成从Mobile到Server的多种硬件平台的部署，并将持续支持更多新的硬件类型。**此外，百度还将多年的产业实践经验进行沉淀，形成详细的产业案例及示例工程，以供开发者参考。

基于OpenVINO™ 的PaddleX部署方案

为更好地支持英特尔® 硬件，PaddleX为开发者提供了一套完整的基于OpenVINO™ 的部署方案，帮助开发者提升飞桨模型在英特尔® 的CPU和VPU（视觉处理单元）上的运行性能。

OpenVINO™ 工具套件

OpenVINO™ 是英特尔® 针对其硬件开发的深度学习部署工具套件，它的重要意义在于帮助开发者解决“最后一公里”的问题。OpenVINO™ 基于通用API接口，支持多种英特尔® 硬件平台，包括CPU、VPU、iGPU和FPGA等，并支持异构计算，可帮助加速工控机或服务器CPU设备上深度学习模型的预测性能；同时通过集成OpenCV、OpenGL等工具套件为开发者简化并加速部署流程。

对于边缘侧设备部署场景，OpenVINO™ 还可以通过支持英特尔® 神经计算棒Neural Compute Stick 2（英特尔® NCS2, 基于VPU的深度学习硬件USB驱动器）实现在低成本嵌入式设备上部署复杂的深度学习模型，让人工智能在边缘侧的硬件设备上有更丰富的应用。在云端或工业场景中，OpenVINO™ 可直接在不添加任何其他算力设备的情况下，加速深度学习模型在CPU上的部署性能，帮助提升现有硬件设备的性价比。

**OpenVINO™ 工具套件的学习成本较低、开发简便易用，一次编写任意部署，因此深受开发者欢迎，目前已知在工业、医疗健康、零售等多个领域打造出多样化的应用解决方案。**此外，OpenVINO™ 活跃的中文社区及“英特尔® OpenVINO™ 工具套件领航者联盟”基于开发者产品难以商业化落地的痛点而创立，通过一系列的技术交流活动和行业开发大赛，为开发者们创造一个 学习交流、创新发展的平台，为开发者的技术进阶和职业发展提供各种资源。

实现PaddleX对OpenVINO™的支持

PaddleX支持将训练好的飞桨模型通过OpenVINO™ 进行加速模型预测，当前的支持情况如图2所示。

PaddleX到OpenVINO™ 的部署流程如下：

Paddle2ONNX支持将飞桨模型格式转化到ONNX模型格式。

在静态图模型导出时，通过以下命令行将Paddle模型的参数保存在一个单独的二进制文件中:paddle2onnx–model_dir paddle_ model --model_filename model_filename --params_ filename params_filename --save_file onnx file --opset_ version 10 --enable_onnx_checker True。

请访问以下Github页面：https://github.com/PaddlePaddle/ PaddleX/blob/develop/docs/deploy/openvino/introduction. md, 浏览关于更多详细部署的技术文档，获取如何通过PaddleX实现OpenVINO™ 部署深度学习模型和加速推理的详细实践指南。

值得一提的是，随着第三代英特尔® 至强® 可扩展处理器的面世，PaddleX深度学习性能及结合OpenVINO™ 的预测加速性能还将进一步提升。**全新推出的第三代英特尔® 至强® 可扩展处理器采用具有内置加速和高级安全功能的平衡架构，具有8至40个功能强大的内核以及广泛的功能。在人工智能应用方面，第三代英特尔® 至强® 可扩展处理器是唯一具有内置人工智能加速功能、端到端数据科学工具和智能解决方案生态系统的数据中心CPU。**这一强大的能力组合可在从边缘到云的每个应用程序中解锁更多数据价值。OpenVINO™ 支持的模型量化功能可以进一步释放第三代英特尔® 至强® 可扩展处理器在进行深度神经网络推理时的性能。

产业应用

在当前的产业生态环境中，有来自各行各业的一大批企业和机构渴望借助深度学习的力量提升效率、突破瓶颈。PaddleX以低代码形式支持飞桨全流程，能帮助这些企业和机构降低深度学习技术 的准入门槛，特别是在人工智能图像识别领域。此外, PaddleX 还针对产业具体应用场景提供了特殊的适配及优化工作，并结合具体、详尽的案例为开发者提供尽可能深层的支持。以下例举几个由PaddleX支持的案例：

机械式指针表计读数：传统的机械式指针表大量存在于工业企业，是企业获取大数据、实现数字化转型道路上的一大难题。借助PaddleX,企业能在不更换设备的情况下完成数字化数据提取，从而帮助大幅降低成本、提升效率。在此案例中，PaddleX能够分三步实现对传统机械式指针表计的检测与自动读数功能：第一步使用目标检测模型检测出图像中的表计；第二步使用语义分割模型将各表计的指针和刻度分割；第三步根据指针的相对位置和预知的量程计算出各表计的读数。

工业产品质检：在制造行业，产品质检是大多数企业的必备 流程。以人工智能视觉替代人工质检员不仅能大幅提升效率和精度，还能实现可观的成本效益。PaddleX的成功案例能为众多制造型企业提供有力参考。比如，面向工业质检场景里的材料表面缺陷检测, PaddleX提供针对GPU端和CPU端两种部署场景下的解决方案,并提供精度优化策略和性能优化策略。在CPU端解决方案中，在部署阶段借助OpenVINO™ 帮助实现更高效的推理。

遥感影像分割：遥感影像分割是图像分割领域中的重要应用场景，广泛应用于土地测绘、环境监测、城市建设等领域。遥感影像识别的目标多种多样，有诸如积雪、农作物、道路、建筑、水源等地物目标, 也有例如云层的空中目标。PaddleX提供的案例包括RGB遥感影像分割及多通道遥感影像处理，涵盖数据分析、模型训练、模型预测等流程，能帮助用户利用深度学习技术解决多通道遥感影像识别问题。

地块变化检测：对地块情况的变化进行监测是国土资源、农业和城市规划等部门的重要工作之一。PaddleX提供的案例将同一地块的前期与后期两张图片进行拼接，然后输入给语义分割网络，进行变化区域的预测。在训练阶段，使用随机缩放尺寸、旋转、裁剪、颜色空间扰动、水平翻转、垂直翻转等多种数据增强策略。在验证和预测阶段，使用滑动窗口预测方式，以避免在直接对大尺寸图片进行预测时显存不足的发生。

此外，在医疗影像分析、病灶识别、工业巡检、公共事业（如垃圾分类识别）等多个领域，PaddleX都拥有广泛的应用空间，并将不断丰富实战案例和示例工程，助力深度学习产业开发者在每一步都有利可依、有据可考。

加速升级迭代，服务业界生态

软件是英特尔“以数据中心”转型的六大技术之一。OpenVINO™ 作为英特尔® 软件体系中一个组成部分，不仅是英特尔在软件实力上的体现，更能助推英特尔® 解决方案在未来市场中保持竞争力。

近两年，OpenVINO™ 工具套件以每季度一次的频率迭代更新，以满足快速变化的市场新需求。**不久前发布的OpenVINO™ 工具套件2021.4版拥有众多亮点：搭载英特尔® Gaussian和神经加速器能够支持GNA2.0;搭载DL Streamer可提供语音分析能力，同时在Open Model Zoo中提供了针对音频、语音和语言的预训练模型和方案演示。这些能力给开发者带来了全新的超越了视觉应用的能力，将OpenVINO™ 的使用拓展到了更广阔的领域。**新版OpenVINO™工具套件对于最新硬件第三代英特尔® 至强® 可扩展处理器也有着强劲的支持表现，可针对高速处理、 计算机视觉、低延迟计算等关键物联网应用需求进行优化，满足工业、零售、金融、医疗健康、智慧城市等多种应用场景对严苛环境和实时计算性能的需求。通过软硬兼施的产品组合，释放智能边缘效能。

在百度方面，深度学习一直是百度重点发力的领域之一，而飞桨是百度向产业开放深度学习能力的重要平台。在2020年末，飞桨正式进入2.0时代，通过全新升级的API体系，让深度学习技术的创新和应用更简单；以成熟完备的动态图模式带来更佳编码体验；以更强大的分布式训练能力提升易用性与灵活性；并构建出更繁荣的硬件生态，实现软硬一体的深度优化。针对低代码的PaddleX, 飞桨团队将会持续为开发者提供面向产业实践的深度学习能力，并覆盖更多的技术领域、兼容更丰富的部署场景、更丰富的行业案例、更易使用、更易再开发，力争为产业开发者提供深度学习最佳产业实践之一。

关注英特尔边缘计算社区，表示您确认您已年满 18 岁，并同意向英特尔分享个人信息，以便通过电子邮件和电话随时了解最新英特尔技术和行业趋势。您可以随时取消订阅。英特尔网站和通信内容遵守我们的隐私声明和使用条款。