学习笔记(13):英特尔®OpenVINO™工具套件中级课程-模型参数选择与推理模式设置...

立即学习:https://edu.csdn.net/course/play/28807/427189?utm_source=blogtoedu

 

1.准确性不是模型部署的关键因素

2.吞吐量，每秒钟处理的帧数。用fps衡量

3.延迟：对图像处理，推理所用的时间

 

*在边缘开发中2.3.是更为关键的因素

影响边缘开发的因素

1.模型复杂度

2.设备数量（CPU GPU）

3.模型精度

  cmd将数据打包一次对小数据进行处理

  

  在特定情况下，将模型参数转化为int      但同时不降低模型精确度，提升速度

4.输入批次

 

5.

 

异步处理

 

6.

CPU可以处理多个推理请求（与其核心有关）IE可以智能的利用这一点。