本文详细记录了在Intel N4100 CPU、集成GPU UHD600和MYRIAD NCS2上，使用OpenVINO的benchmark_app.py对Xubett964模型进行测试。结果显示，当Batch Size为1时，CPU性能最佳，MYRIAD次之，GPU最慢。随着Batch Size增大，虽然计算效率提高，但Latency也会增加。结论强调选择合适的Batch Size应考虑处理数据大小、算法结构和处理引擎的平衡。
最近参加“英特尔®OpenVINO™领航者联盟 DFRobot行业AI开发者大赛”活动，采用benchmark_app.py做模型的benchmark时，发现采用不同的Batch Size，结果在CPU、GPU和MYRIAD上有很大的差距，特此整理如下，以供参考。
硬件平台：
主办方提供了拿铁熊猫LattePanda Delta和Intel神经计算棒NCS2，板上带有4GB内存，本文所列数据都是在该平台上运行得到的。
CPU是Intel 全新 N 系列赛扬 4 核4线程处理器N4100，最高可达 2.40 GHz，4MB缓存。
GPU是集成显卡UHD600，显卡基本频率是200MHz，最大动态频率是700MHz。
MYRIAD是Intel神经计算棒NCS2，Intel® Movidius™ Myriad™ X VPU核心，通过USB 3.1 Type-A接口插在LattePanda Delta上。
软件：
Windows 10， OpenVINO 2020.4，Python 3.6.5。
采用模型：
所采用模型：Xubett964.fp16.xml，输入为28x28的图像，网络结构图如下：
Batch Size：1
benchmark_app.py -m Xubett964.fp16.xml -i testImg2.png -d CPU
[ INFO ] Read network took 174.37 ms
[ INFO ] Network batch size: 1
[ INFO ] Load network took 234.38 ms
[ INFO ] Network input 'imageinput' precision FP32, dimensions (NCHW): 1 1 28 28
[Step 10/11] Measuring performance (Start inference asy
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
