OpenVINO 2022.3之九：Post-training Optimization Tool (POT)

OpenVINO 2022.3之九：Post-training Optimization Tool (POT)

Post-training Optimization Tool (POT) 通过在已训练好的模型上应用量化算法，将模型的权重和激活函数从 FP32/FP16 的值域映射到 INT8 的值域中，从而实现模型压缩，以降低模型推理所需的计算资源和内存带宽，进一步提高模型的推理性能。不同于 Quantization-aware Training(QAT) 方法，POT在不需要对原模型进行 fine-tuning 的情况下进行量化，也能得到精度较好的 INT8 模型，因此广泛地被应用于工业界的量化实践中。

POT提供了两种量化算法: Default Quantization 和 Accuracy-aware Quantization，

• Default Quantization (DQ) 提供了一种快速的量化方法，量化后的模型在大多数情况下能够提供较好的精度，适合作为模型 INT8 量化的 baseli