tensorflow量化训练:
- post-training quantization: 剪枝,稀疏编码,对模型存储体积进行压缩
- quatization-aware training: forward F32==>int8 映射,backward F32梯度更新,保存模型int8,quantize/dequantize
- 还有一种训练和推理都用int8
- 在训练过程中引入精度带来的误差,然后整个网络在训练过程中进行修正
模型大小不仅是内存容量问题,也是内存带宽问题
量化就是将神经网络的浮点算法转化为定点
花哨的研究往往是过于棘手或前提假设过强,以至于几乎无法引入工业界的软件栈
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference揭示了量化感知训练的诸多细节
为什么量化是有效的(具有足够好的预测准确度),尤其是将FP32转换为INT8时已经丢失了信息?直觉解释是神经网络被过度参数化,进而包含足够的冗余信息,裁剪这些冗余信息不会导致明显的准确度下降。相关证据表明对于给定的量化方法,FP32网络和INT8网络之间的准确度差距对于大型网络来说较小,因为大型网络过度参数化的程度更高
可能有用的github上的一些东西:
Tensorflow官网的一些东西:
tensorflow量化训练技巧:
- 在你定义好网路结构之后,加上下面这句话,即可量化训练: tf.contrib.quantize.create_training_graph(input_graph=g, quant_delay=200)
- 论文中提到,为了使量化训练有更好的精度,推荐使用relu6,让输出限制在较小的范围内
- tf.contrib.quantize.create_eval_graph()和tf.contrib.quantize.create_training_graph()不能同时出现在同一程序中,不然会出问题
- 基于已经训好的网络去做模拟量化实验的,不基于预训练模型训不起来,可能还有坑要踩,而且在模拟量化训练过程中bn层参数固定,融合bn参数也是用已经训练好的移动均值和方差,而不是用每个batch的均值和方差
- 重写后的 eval 图与训练图并非平凡地等价,这是因为量化操作会影响 batchnorm 这一步骤
- 对于卷积层之后带batchnorm的网络,因为一般在实际使用阶段,为了优化速度,batchnorm的参数都会提前融合进卷积层的参数中,所以训练模拟量化的过程也要按照这个流程.首先把batchnorm的参数与卷积层的参数融合,然后再对这个参数做量化
- 对于权值的量化分通道进行求缩放因子,然后对于激活值的量化整体求一个缩放因子,这样的效果最好