PPQ量化框架

一、量化的基本流程：

 网络解析

 在ppq/api/interface.py当中：

 其中NetworkFramework是一个枚举类，表述各种网络类型，如果读取成功，返回一个BaseGraph（就是ppq里面的计算题），要想读取pytorch、TF的话需要将模型导出为ONNX

图调度

首先了解调度器，其中一个全新的调度器在ppq/scheduler/perseus.py,

其中一个函数dispatch说明了需要量化的：矩阵乘、卷积操作，不需要量化的：shape算子、Topk算子，把从矩阵乘/卷积计算节点出发的数据，其传递闭包（数据从哪里来，途径点），最后输出一个调度表

初始化量化信息 ：理解量化部署的核心。

要五个东西去量化模型，调度表、PPQ计算图、TargetPlatform（量化平台）、一堆数据、quantizationSetting（量化配置）

在文件ppq/api/interface.py，有很多类型的

 其中的TargetPlatform：

其中的quantizationSetting是一个封装了量化配置参数的数据结构，你可以修改它的参数来自定义量化规则与优化方式,

如何去做初始化的呢？在ppq/quantization/quantizer/base.py里面，QuantizationSetting创建管线的，TargetPlatform选量化器

 这个quantize（量化器）函数的职责就是负责根据调度情况，初始化算子的量化信息，并创建量化管线。做了有如下三步：

• prequant pipeline:  启动预处理管线

• quantize all operations  初始化量化信息

• calling graph optimization pipeline  启动量化管线
  

量化信息是ppq中的一种数据结构：TensorQuantizationConfig，在ppq/core/quant.py里面

TQC描述量化的具体细节，量化器初始化了policy,num-of-bits,state,rounding,quant-min,quant-.max,其余属性交由量化管线进一步处理：scale、_offset、_dominator

在PPQ中，所有的量化计算都在ppq/quantization/qfunction/linear.py,量化器的子类将近20个

举例说明一个量化器：TRTQuantizer，在ppq/quantization/quantizer/下面

对呀trt平台，关闭所有输出量化，即

bias_config = OQC.input_quantization_config[-1]
bias_config.state = QuantizationStates.FP32

但是对于卷积、反卷积、矩阵乘等算子而言需要做per-channal，重新设定校准方式为minmax