sandmangu的专栏

在OpenVINO 2019里是用Calibration tool把网络模型转成INT8模型。到了OpenVINO 2020版本开始这个工具被去掉了，取而代之的是POT (Post-Training Optimization Tool)工具. POT的使用方法和参数的含义和Calibration Tool又有所不同，因此要转INT8模型的话又要重新学习一遍官网的文档。这里简单记录一下我用这个工具转换mobilenet模型的一个过程。用OpenVINO 2020转换INT8主要用到2个工具1..

直接上2019R3和2020R2的性能对比，测试平台Intel i5-7440HQ, Win10 1709 GPU驱动 26.20.100.7812 发布日期1/21/2020利用OV自带的benchmark测试,测2种情况最小延迟 (尽可能快的处理单幅图片) benchmark_app.exe -nireq 1 -nstreams 1 -b 1 -m mobile...

接下来是个失败的例子 MoiblenetV3老规矩，先下模型，转换模型，再测benchmark从这里下载模型https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet下载Large dm=1 (float)这个模型，然后转换成OpenVINO FP32模型python "c:...

最近一直在研究OpenVINO的INT8的推理性能，原本以为INT8是个万能膏药，任何模型经过INT8转换都可以提高性能。但是实战发现并不是如此，最近分析了2个模型MobilenetV2和MobilenetV3，发现MobilenetV2的模型在转成INT8以后性能会大幅提升，但是MobilenetV3转换成INT8模型后性能反而会大幅下降。原来一直以为是自己转换的方法不对，后来深入分析了一下模型...