tensorflow量化策略详解

第一种，混合量化--仅量化权重

该方式将浮点型的权重量化为int8整型，可将模型大小直接减少75%、提升推理速度最大3倍。该方式在推理的过程中，需要将int8量化值反量化为浮点型后再进行计算，如果某些Ops不支持int8整型量化，那么其保存的权重依然是浮点型的，即部分支持int8量化的Ops其权重保存为int8整型且存在quantize和dequantize操作，否则依然是浮点型的，因而称该方式为混合量化。该方式可达到近乎全整型量化的效果，但存在quantize和dequantize操作其速度依然不够理想

 

第二种，全整型量化--权重和激活值都进行量化

该方式则试图将权重、激活值及输入值均全部做int8量化，并且将所有模型运算操作置于int8下进行执行，以达到最好的量化效果。为了达到此目的，我们需要一个具有代表性的小数据集，用于统计激活值和输入值等的浮点型范围，以便进行精准量化。

全整型量化的输入输出依然是浮点型的，但如果某些Ops未实现该方法，则转化是没问题的且其依然会自动保存为浮点型