在AI量化阶段应用KL散度来计算量化前后两笔tensor之间的信息损失程度,然后根据信息损失去调整量化参数,通过不断调整,选择使KL散度最小的 ZP和SCALE值作为量化参数,达到使量化信息损失最少的目的,关于这些介绍,可以参考博文:
模型量化中的KL散度扫盲_papaofdoudou的博客-CSDN博客_kl三度
使用NCNN的INT8量化方式进行推理_papaofdoudou的博客-CSDN博客_ncnn量化
在AI量化阶段应用KL散度来计算量化前后两笔tensor之间的信息损失程度,然后根据信息损失去调整量化参数,通过不断调整,选择使KL散度最小的 ZP和SCALE值作为量化参数,达到使量化信息损失最少的目的,关于这些介绍,可以参考博文:
模型量化中的KL散度扫盲_papaofdoudou的博客-CSDN博客_kl三度
使用NCNN的INT8量化方式进行推理_papaofdoudou的博客-CSDN博客_ncnn量化