- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 基于openvino 2019R3的推理性能优化的学习与分析 (六) 基于CPU的INT8推理(inference)性能分析
OpenVINO号称支持CPU INT8的推理已经好久了Introducing int8 quantization for fast CPU inference using OpenVINO号称在mobilenet-ssd上 i7-8700能有1.36X的性能提升。但是前几个版本的calibration tool的变化实在太大了，从native C++变成python tool, 再到现在的D...
2019-12-17 16:58:11
2631
6
原创 基于openvino 2019R3的推理性能优化的学习与分析 (五) 基于CPU/GPU混合运算的推理(inference)性能分析
最近读到这么一篇文章Automatic Multi-Device Inference with Intel® Distribution of OpenVINO™ toolkit，号称使用CPU/GPU协同运算做推理，可以大幅度提高推理能力。以mobilenet-ssd为例，文中附上了一个性能数据对比CPU/GPU一起推理后的性能相对只用CPU推理，性能提高了到了0.79/0.64=...
2019-12-17 12:04:16
2693
21
原创 基于openvino 2019R3的推理性能优化的学习与分析 (四) 基于GPU的推理(inference)性能分析
再看看纯集成显卡GPU的mobilenet-ssd 的推理性能, 测试平台是i5 7440HQ, 4核4线程, GPU是Gen9 的GT2, 24EU, 属于纯大白菜集成显卡首先是FP32模型当Batch size =1时inference request(nireq) = 1时，即同时只有一个推理请求Latency = 13.6ms, Throughtput = 73F...
2019-12-16 15:08:42
1771
原创 基于openvino 2019R3的推理性能优化的学习与分析 (三) 基于CPU的推理(inference)性能分析
根据前面2部分对benchmark_app的分析，重新改写了一下benchmark的代码，主要去掉了命令传递参数的方法，所有参数改为代码里hard code;去掉了智能指针之类的高级用法，只使用简单的操作系统提供的多线程同步接口。这么做的目的是为了以后把inference这部分作为一个模块，可以更简单的集成进自己的程序里 :)首先看一下纯CPU的mobilenet-ssd FP32模型的...
2019-12-16 12:33:20
1810
原创 基于openvino的推理性能优化的学习与分析 (二) 官方参考源码benchmark_app的设计逻辑
通过学习sample代码里main函数的流程和注释，Benchmark_app的实现流程整理如下benchmark支持CPU/GPU/NCS计算棒等多种硬件的单独使用推理和混合使用推理。具体的命令参数是CPU推理./benchmark_app -m <model> -i <input> -d CPUGPU推理./benchmark_app -m <...
2019-12-13 17:51:53
2481
4
原创 基于openvino的推理性能优化的学习与分析 (一) 官方参考源码benchmark_app的编译运行
很久以前就看了这么一篇文章 "使用英特尔®GPU的性能调优达到153帧MobileNet-SSD目标检测"， 作者是在Intel CPU的集成显卡上实现的。一直想亲手实践一下，无奈这些年患了很严重的拖延症和懒癌。最近病情有所好转，索性努力研究一下。首先安装VS2017, 接着从官网下载安装最新的openvino版本2019 R3. 按照官网的Install Intel® Distribu...
2019-12-11 17:00:32
2409
3
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人