教程:通过推理加快计算机视觉应用的运行速度

简介

本教程将为大家详细介绍如何使用深度学习部署套件的推理引擎(包含在英特尔® 计算机视觉 SDK Beta 测试版 R3中)。推理指使用训练的神经网络从数据(比如图像)推理出某种意义的过程。在下面的代码示例中,视频(逐帧)馈送至推理引擎(我们训练的神经网络),然后输出结果(图像分类)。推理过程通过不同的神经网络架构(AlexNet*、GoogleNet* 等)来完成。本示例在 GoogleNet 模型上使用 Single Shot MultiBox Detector (SSD)。关于如何使用 SSD 的示例,请参阅英特尔® 开发人员专区的本文

推理引擎要求将该模型转化成 IR(中间代码)文件。本教程将详细介绍如何使用 Model Optimizer 提取现有模型 (GoogleNet) 并将其转化成 IR(中间代码)文件。

本教程结束后,大家将看到视频上通过检测多个对象(比如人或汽车)进行推理;例如下图,大家可以看到示例图像正进行以下操作:

在推理引擎上运行神经网络有何不同之处?

  • 推理引擎可优化推理过程,支持用户显著提高深度学习部署在英特尔® 架构上的运行速度。更多关于英特尔® 处理器显卡的性能信息,请参阅本文
  • 推理可在硬件(比如英特尔® GPU 或英特尔® FPGA 加速卡)上运行,而非 CPU。

推理引擎如何运行?

推理引擎提取神经网络模型的表示并对其进行优化,以在 CPU 中充分利用高级英特尔® 指令集,并使其兼容其他硬件加速器(GPU 和 FPGA)。为此,将模型文件(.caffemodel,.prototxt)提供给 Model Optimizer,然后该程序处理这些文件并输出两个新文件:.bin 和 .xml。运行应用时使用这两个新文件,而不是原始的模型文件。在本示例中,提供有 .bin 和 .xml 文件...阅读全文

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页