自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 资源 (2)
  • 论坛 (2)
  • 收藏
  • 关注

原创 基于openvino 2019R3的推理性能优化的学习与分析 (六) 基于CPU的INT8推理(inference)性能分析

OpenVINO号称支持CPU INT8的推理已经好久了Introducing int8 quantization for fast CPU inference using OpenVINO号称在mobilenet-ssd上 i7-8700能有1.36X的性能提升。但是前几个版本的calibration tool的变化实在太大了,从native C++变成python tool, 再到现在的D...

2019-12-17 16:58:11 1933 6

原创 基于openvino 2019R3的推理性能优化的学习与分析 (五) 基于CPU/GPU混合运算的推理(inference)性能分析

最近读到这么一篇文章Automatic Multi-Device Inference with Intel® Distribution of OpenVINO™ toolkit,号称使用CPU/GPU协同运算做推理,可以大幅度提高推理能力。以mobilenet-ssd为例,文中附上了一个性能数据对比CPU/GPU一起推理后的性能相对只用CPU推理,性能提高了到了0.79/0.64=...

2019-12-17 12:04:16 1649 11

原创 基于openvino 2019R3的推理性能优化的学习与分析 (四) 基于GPU的推理(inference)性能分析

再看看纯集成显卡GPU的mobilenet-ssd 的推理性能, 测试平台是i5 7440HQ, 4核4线程, GPU是Gen9 的GT2, 24EU, 属于纯大白菜集成显卡首先是FP32模型当Batch size =1时inference request(nireq) = 1时,即同时只有一个推理请求Latency = 13.6ms, Throughtput = 73F...

2019-12-16 15:08:42 1063

原创 基于openvino 2019R3的推理性能优化的学习与分析 (三) 基于CPU的推理(inference)性能分析

根据前面2部分对benchmark_app的分析,重新改写了一下benchmark的代码,主要去掉了命令传递参数的方法,所有参数改为代码里hard code;去掉了智能指针之类的高级用法,只使用简单的操作系统提供的多线程同步接口。这么做的目的是为了以后把inference这部分作为一个模块,可以更简单的集成进自己的程序里 :)首先看一下纯CPU的mobilenet-ssd FP32模型的...

2019-12-16 12:33:20 1241

原创 基于openvino的推理性能优化的学习与分析 (二) 官方参考源码benchmark_app的设计逻辑

通过学习sample代码里main函数的流程和注释,Benchmark_app的实现流程整理如下benchmark支持CPU/GPU/NCS计算棒等多种硬件的单独使用推理和混合使用推理。具体的命令参数是CPU推理./benchmark_app -m <model> -i <input> -d CPUGPU推理./benchmark_app -m <...

2019-12-13 17:51:53 1489 2

原创 基于openvino的推理性能优化的学习与分析 (一) 官方参考源码benchmark_app的编译运行

很久以前就看了这么一篇文章 "使用英特尔®GPU的性能调优达到153帧MobileNet-SSD目标检测", 作者是在Intel CPU的集成显卡上实现的。一直想亲手实践一下,无奈这些年患了很严重的拖延症和懒癌。最近病情有所好转,索性努力研究一下。首先安装VS2017, 接着从官网下载安装最新的openvino版本2019 R3. 按照官网的Install Intel® Distribu...

2019-12-11 17:00:32 1453 3

SF15_ISGC003_81_SGX_DL_100_small.pdf

intel sgx单页简介,什么是SGX?SGX工作原理以及如何开发SGX应用

2019-06-03

multimedia basis

记录了我学到的一些多媒体编解码方面的知识和心得,欢迎大家和我交流

2007-12-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除