本人参考这篇文章https://fjdu.github.io/machine/learning/2016/07/07/quantize-neural-networks-with-tensorflow.html 进行基于tensorflow的模型参数量化工作,尝试将浮点数参数量化成8位。此处主要介绍实践过程中碰到的坑。
已有环境:ubuntu 16.04, tensorflow 1.8, CUDA 9.0, cudnn7
按照文章介绍进行程序安装。
首先下载样例模型:
$curl http://download.tensorflow.org/models/image/imagenet/inception-2015-12-05.tgz -o /tmp/inceptionv3.tgz
$tar xzf /tmp/inceptionv3.tgz -C /tmp/
接着应该安装bazel,这是google推出的软件构建工具,参考文章: