tensorflow fake quantization 伪量化训练-单GPU和多GPU

tensorflow fake quantization 伪量化训练

摘要：本文介绍tensorflow的单GPU和多GPU的伪量化训练。同时还介绍TensorFlow 为量化训练的checkpoint 格式的模型如何转换为PB格式的模型。

tensorflow伪量化训练简单说就是在训练的时候通过一个公式，使用float类型模拟int类型的运算。Fake quantization 需要在计算图中添加伪量化的节点，才能进行伪量化训练。同时该方法的训练出来的模型和一般checkpoint格式的模型转换PB格式模型的过程也有差异。

• fake quantization的基本公式原理如下：
  $$q=\frac{r-min}{max-min}(q_{max}-q_{min})$$
  where, q represents the previous fack quantization value, r is the value after fack quantization. q m a x