OpenVINO 2020版本 - GPU推理性能有惊喜

OpenVINO 同时被 2 个专栏收录
22 篇文章 9 订阅
4 篇文章 0 订阅

直接上2019R3和2020R2的性能对比,

 

测试平台

  • Intel i5-7440HQ,
  • Win10 1709
  • GPU驱动 26.20.100.7812 发布日期1/21/2020

利用OV自带的benchmark测试,测2种情况

  1. 最小延迟 (尽可能快的处理单幅图片)  
    benchmark_app.exe -nireq 1 -nstreams 1 -b 1 -m mobilenetV3\[FP16|FP32]\v3-large_224_1.0_float.xml -d [GPU|CPU]

     

  2. 最大吞吐率throughput (尽可能多的处理图片)
    benchmark_app.exe -m mobilenetV3\[FP16|FP32]\v3-large_224_1.0_float.xml -d [GPU|CPU]

     

 

测试模型 mobilenetv3-large_224_1.0_float

 

测试模型 sqeezenet1.1

 

个人用OpenVINO 2020的感觉

  1. CPU推理部分速度没有太明显的提高,但是GPU推理部分应该是改动很大,测试了mobilenetv3和squeezenet1.1, 感觉对GPU推理底层的clDNN的部分真的是花了一些力气去优化。
  2. 用OpenVINO 2020版GPU做推理,如果发现加载网络或者推理时候报错,可以考虑一下升级GPU的驱动,我原来的驱动是2019年3月的版本,做FP16推理时候加载报错。升级最新驱动就好了 :)
  3. 有利用集成显卡做推理的同学可以尝试一下2020版本,也许有惊喜 :) 
  4. OpenVINO2020r2版本开始支持GPU INT8推理了,但是能否在我的老7代CPU的HD630上跑还不清楚,INT8的转换工具改成POT了,还在摸索中...

 

  • 1
    点赞
  • 0
    评论
  • 0
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

sandmangu

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值