在算能(Sophgo)的 TPU-MLIR 工具链中,model_qtable.py
是用于 量化参数调优 的脚本,主要用于分析模型的量化敏感度、生成混合精度配置或优化量化参数表(Quantization Table)。以下是其核心功能与使用详解:
一、核心功能
-
量化敏感度分析
- 通过分析各层的量化误差(KL散度、MSE),识别对量化敏感的层。
- 生成敏感度报告,指导混合精度配置。
-
混合精度配置文件生成
- 根据敏感度阈值自动生成 JSON 配置文件,指定需保留 FP16/BF16 的层。
-
量化参数调整
- 支持手动或自动调整各层的量化参数(Scale/Zero-Point),优化激活值动态范围。
二、典型使用流程
1. 环境准备
确保已通过 model_transform.py