OpenVINO 2020版本 - GPU推理性能有惊喜

直接上2019R3和2020R2的性能对比，

 

测试平台

• Intel i5-7440HQ,
• Win10 1709
• GPU驱动 26.20.100.7812 发布日期1/21/2020

利用OV自带的benchmark测试,测2种情况

1. 最小延迟 (尽可能快的处理单幅图片)  

   benchmark_app.exe -nireq 1 -nstreams 1 -b 1 -m mobilenetV3\[FP16|FP32]\v3-large_224_1.0_float.xml -d [GPU|CPU]

    

2. 最大吞吐率throughput (尽可能多的处理图片）

   benchmark_app.exe -m mobilenetV3\[FP16|FP32]\v3-large_224_1.0_float.xml -d [GPU|CPU]

    

 

测试模型 mobilenetv3-large_224_1.0_float

 

测试模型 sqeezenet1.1

 

个人用OpenVINO 2020的感觉

1. CPU推理部分速度没有太明显的提高，但是GPU推理部分应该是改动很大，测试了mobilenetv3和squeezenet1.1, 感觉对GPU推理底层的clDNN的部分真的是花了一些力气去优化。
2. 用OpenVINO 2020版GPU做推理，如果发现加载网络或者推理时候报错，可以考虑一下升级GPU的驱动，我原来的驱动是2019年3月的版本，做FP16推理时候加载报错。升级最新驱动就好了 :)
3. 有利用集成显卡做推理的同学可以尝试一下2020版本，也许有惊喜 :) 
4. OpenVINO2020r2版本开始支持GPU INT8推理了，但是能否在我的老7代CPU的HD630上跑还不清楚，INT8的转换工具改成POT了，还在摸索中...