OpenVINO 2022.3之十：OpenVINO™ 中用于推理优化的自适应参数选择

最新推荐文章于 2024-08-09 01:00:18 发布
最新推荐文章于 2024-08-09 01:00:18 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： OpenVINO 文章标签： openvino 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shanglianlm/article/details/130946098
版权
OpenVINO提供了自动批量处理(Auto-batching)、自动插件(AUTOPlugin)和动态形状(DynamicShape)等功能来优化推理性能。Auto-batching在GPU上最大化数据吞吐量，尤其适合大量输入数据。AUTOPlugin自动选择最佳推理设备，而DynamicShape允许模型根据输入动态调整形状。这些特性帮助开发者无需深入硬件细节即可提升AI模型的效率。
摘要由CSDN通过智能技术生成

OpenVINO 2022.3之十：OpenVINO™ 中用于推理优化的自适应参数选择

当你使用 AI 模型进行推理时，OpenVINO™ 提供了一些自动设定参数选项的功能。

常见有以下3个与模型推理相关的功能：

  • 用于 input 数据足够多时，提供最大 throughput 的 Auto-batching 功能；
  • 用于自动选择设备进行推理的 Auto Plugin 功能；
  • 以及用于满足特定模型动态输入的 Dynamic Shape 功能。

1 Auto-batching

Auto-batching 设计目的是让开发者利用最少的代码去实现使用英特尔® 显卡做模型推理的数据吞吐量最大化。在没有设定 input 以及没有限制范围的情况下，它会按照集成显卡或者是独立显卡能承受的最大吞吐量去设定推理线程数。如果应用程序有大量的输入数据且以高频率连续提交推理请求，推荐使用 Auto-batching 功能。

Auto-batching启用：

将“device“参数设置为：“BATCH:GPU“ 该功能将会被激活

./benchmark_app -m <<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
mingo_敏
关注
专栏目录
订阅专栏
OpenVINO 2022.3之七：OpenVINO 预处理API提升模型推理性能
mingo_敏
05-08 1211
如果没有预处理API，那么输入数据的预处理操作只能放在CPU上实现，CPU完成数据预处理后，再将预处理后的数据传给iGPU、VPU等AI加速计算设备进行推理计算。有了预处理API后，就能将预处理操作集成到在模型执行图中，这样iGPU、VPU 或即将发布的Intel独立显卡都能进行数据预处理，无需依赖CPU，提高了执行效率。改变输入数据的形状：[720, 1280,3] → [1, 3, 640, 640]改变输入数据的布局(layout)：HWC → NCHW。改变输入数据的精度：U8 → f32。
OpenVINO 2022.3之一：OpenVINO概述
mingo_敏
05-05 1644
OpenVINO可以优化几乎任何框架的深度学习模型，并在各种英特尔处理器和其他硬件平台上以最佳性能进行部署。
使用OpenVINO™解锁 AI 更轻松部署和加速的潜力OpenVINO™2023.0最新版本介绍
英特尔开发人员专区
06-07 3940
在这种模式下，具有多个线程的一个深度学习模型的推理将被视为一个整体图，其中每个线程将绑定到 CPU 处理器，而不会引起缓存丢失和额外的开销。但是，在同时运行两个神经网络的推理的情况下，可能在相同的 CPU 处理器上调度不同深度学习模型推理请求的多个线程，从而导致对相同处理器资源上的竞争（如图 10 所示）。在这种模式下，同一深度学习模型不同层上的推理可能会在不同的处理器之间切换，从而导致缓存丢失和额外的开销（如图 11 所示），此时开发者可以根据实际的测试结果，选择最合适的方案进行部署。
Deci 和英特尔如何在 MLPerf 上实现高达 16.8 倍的吞吐量提升和 +1.74% 的准确性提升
英特尔开发人员专区
06-21 2170
MLPerf 提交概述MLPerf是由来自学术界，工业界和研究实验室的AI领导者建立的非营利组织。MLPerf的目标是为机器学习硬件，软件和服务的训练和推理性能提供标准化和无偏见的基准测试。MLPerf会进行测试以不断改进和发展这些基准测试，每个基准测试都由模型、数据集、质量目标和延迟约束定义。今年，Deci和英特尔®合作提交了计算机视觉和NLP类别的联合提案。对于计算机视觉，我们向ResNet50类别提交了三个模型。我们的提交是在开放部门的离线场景下提交的。Deci 和英特尔的提交结果我们在两个不同的硬件
OpenVINO YOLO单图像推理：安防领域应用案例，守护安全无忧
[OpenVINO YOLO单图像推理：安防领域应用案例，守护安全无忧](https://docs.openvino.ai/2022.3/_images/face-detection-0200.png) # 1. OpenVINO YOLO概述** OpenVINO YOLO（You Only Look Once）是一种计算机视觉...
YOLOv7原理与代码实例讲解
最新发布
AI天才研究院
08-09 417
YOLOv7原理与代码实例讲解 1. 背景介绍 1.1 目标检测概述 目标检测是计算机视觉领域的一个重要任务,旨在从图像或视频中检测出感兴趣的目标,并给出其类别和位置信息。目标检测在很多实际应用中发挥着重要作用,如自动驾驶、视频监控、机器人感知
【图解深度学习优势】：如何在图像识别中显著超越传统机器学习
![深度学习]...通过层层数据处理，CNN能够自动从图像中提取特征，并用于识别、分类等多种任务。 ## 1.2 应用广度与精度提升 深度学习不仅仅局限于简单的图像识别任务，它在医学图像分析、自动驾
OpenVINO2022.1中AUTO插件和Auto-Batching特性的最佳实践
英特尔开发人员专区
06-20 1587
OpenVINOTM 2022.1是自OpenVINOTM 2018年首次发布以来最大的更新之一，参见《OpenVINO™ 迎来迄今为止最重大更新，2022.1新特性抢先看！》。 在众多新特性中，AUTO插件和自动批处理(Automatic-Batching)是最重要的新特性之一，它帮助开发者无需复杂的编程即可提高推理计算的性能和效率。AUTO插件[1]，全称叫自动设备选择(Automatic device selection)，它是一个构建在CPU/GPU插件之上的虚拟插件...
OpenVINO不同Batch Size不同计算引擎的benchmark评测对比
weixin_43978579的博客
07-30 1720
最近参加“英特尔®OpenVINO™领航者联盟 DFRobot行业AI开发者大赛”活动，采用benchmark_app.py做模型的benchmark时，发现采用不同的Batch Size，结果在CPU、GPU和MYRIAD上有很大的差距，特此整理如下，以供参考。 硬件平台： 主办方提供了拿铁熊猫LattePandaDelta和Intel神经计算棒NCS2，板上带有4GB内存，本文所列数据都是在该平台上运行得到的。 CPU是Intel 全新 N 系列赛扬 4 核4线程处理器，最高可达 2.40 GH.
OpenVINO 2022.3实战一：Window 10 环境下用 OpenVINO 2022.3部署yolov5 7.0
mingo_敏
05-04 1871
OpenVINO™ Runtime 2022.3 以压缩包 (OpenVINO Archives) 的形式提供。下载地址：下载后解压到 C:\Intel\openvino_2022.3.0。
OpenVINO课程回顾之下集：应用案例 | 看项目实践如何落地
OpenVINOCC的博客
03-08 244
前面学习了这么多OpenVINO™小技巧相信大家都信心满满、跃跃欲试了。本期让我们走进OpenVINO™应用案例看一看大家如何成功落地相关项目吧！01英特尔 AI 科技加速实现恐龙化石寻觅分享伊始，小伙伴们熟悉的武卓博士便带来了令人兴奋的课程，用 AI 及OpenVINO™ 寻找遗失的的恐龙化石。通过AI辅助绘制恐龙化石的藏宝图，看起来有点不可思议，具体是怎样绘制的呢？数据采集并分析。不是所有采集...
OpenVINO相关
whaosoft143ai的博客
09-22 1220
现在，英特尔至强处理器所采用的 AVX-512 指令集（Advanced Vector Extensions，AVX），在 SIMD 的基本想法上，已经经过 20 多年的优化与发展，其寄存器已由最初的 64 位升级到了 512 位，且具备两个 512 位的 FMA （融合乘加运算指令）单元，这意味着应用程序可同时执行 32 次双精度、64 次单精度浮点运算，或操作八个 64 位和十六个 32 位整数。具体而言，我们可以给模型足够多的算力，并选择不同的并发线程数 thread_num，以查看模型的迭代速度。
openvino的详细使用经验与安装
weixin_40272441的博客
02-22 1万+
openvino是intel公司开发的一款将多种深度学习模型部署于cpu，gpu，fpga等多平台软件。它支持tensorflow caffe mxnet等模型的转换，将这些模型的权重与网络结构转换成 .xml 与 .bin文件，它好比计算机语言编译器可以将多种语言编译成二进制代码。避免了开发人员为了同一个业务需求，在不同平台多次开发，多次部署，使用openvino，只需一次开发，就可以将模型部署...
OpenMP设置线程数及开启方法
热门推荐
qq_15751687的博客
05-25 1万+
1. OpenMP线程数设置   通常我们希望并行线程数可以随着机器改变自适应的调整，网上介绍OpenMP的文章很多，但是很少提到该怎么分配线程数，一般来说线程数最大可以开到2*核心数，但是这样电脑计算资源就会被占用的过多，其他程序基本上会卡的不要不要的，所以我一般就设置线程为2*核心数-1。 (1) 查看核心数：   上面是我电脑的CPU，在CPU使用记录中有四个框，说明这台电脑有...
【主流的深度学习推理架构 OpenVino TensorRT ONNX】
weixin_42483745的博客
05-18 1181
文章目录一、前言二、NCNN三、OpenVino四、TensorRT五、MediaPipe六、ONNX 一、前言 以深度学习为主的人工智能算法模型在日常AI应用中逐渐占据主流方向，相关的各类产品也是层出不穷。我们平时所看到的AI产品，像刷脸支付、智能语音、银行的客服机器人等，都是AI算法的具体落地应用。AI技术在具体落地应用方面，和其他软件技术一样，也需要具体的部署和实施的。既然要做部署，那就会有不同平台设备上的各种不同的部署方法和相关的部署架构工具，目前在人工智能的落地部署方面，各大平台机构也都是大展身
基于openvino 2019R3的推理性能优化的学习与分析 (四) 基于GPU的推理(inference)性能分析
sandmangu的专栏
12-16 1784
再看看纯集成显卡GPU的mobilenet-ssd 的推理性能, 测试平台是i5 7440HQ, 4核4线程, GPU是Gen9 的GT2, 24EU, 属于纯大白菜集成显卡 首先是FP32模型 当Batch size =1时 inference request(nireq) = 1时，即同时只有一个推理请求 Latency = 13.6ms, Throughtput = 73F...
OpenVINO工具套件课程笔记
山风不打咩的博客
03-19 2071
目前OpenVINO的推理引擎只能推理转换过后的IR文件，类似于.pb/.caffemode/.pt等文件是不支持转换的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mingo_敏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值