一. 背景介绍
模型开完并训练完成之后,为了部署到嵌入式设备,往往需要进行量化,以减少模型推理时的资源消耗,加快模型的推理速度。本教程仅针对TensorRT
框架,使用TensorRT
的python
接口,进行量化相关的PTQ
和QAT
的介绍。本教程默认读者已经熟悉量化相关的基础概念(如量化QuantizeLinear
和反量化DequantizeLinear
算子),了解量化的过程需要完成的基本动作,如量化算子对模型节点进行精度变化(比如FP32->FP16
,FP16->INT8
)。相关的基础学习可以参考: