CNN：模型量化训练和部署

量化是指在比floating point precision更低bitwidths进行计算和存储tensors。当使用INT8的量化模型时，相比于FP32，模型的大小会减小4倍，占用的带宽减小4倍，硬件上的运行速度会快2~4倍。

训练后量化Post-training quantization：

• 混合量化--仅量化权重
• 全整型量化--权重和激活值都进行量化
• 半精度float16量化--仅量化权重

量化感知训练（Quantization-aware training）

整个QAT的过程还是以floating point形式计算的，是加入fake_quant模块进行clamping和rounding来模拟INT8的效果。在训练后，把QAT训练好的模型的权重和激活层进行quantize，并把激活层融合到之前层里，转化到lower precision。

首先，在构建模型时floating point model时需要插入fake_quant modules，在开始时插入QuantStub，把floating point的tensors转化到quantized，在结束时插入DeQuantStub把quantized tensors转化为floating point。

随后，需要设置qconfig，决定了插入的observers的类型，比如是对称量化还是非对称量化、MinMax还是L2Norm校准。接下来为QAT进行prepare_qat，在该步骤中插入的observers和fake_quants，以在calibration的过程中观察权重和激活tensors。

最后，完成QAT训练后，进行模型转换，在convert的