综述
PTQ(Post Training Quantization 训练后量化)
当前效果最好的BRECQ、AdaQuant、AdaRound
AdaQuant: AdaQuant——基于优化方式求解量化参数_Law-Yao的博客-CSDN博客
AdaRound 模型量化论文阅读#3----Up or Down? Adaptive Rounding for Post-Training Quantization_羊藤枝的博客-CSDN博客
PTQ的一些基本操作:
盘点一下后训练量化的基本操作_AI小男孩的博客-CSDN博客_训练量化
QAT(Quantization Aware Training量化感知训练)
QAT的经典算法LSQ, LSQ+:
量化训练之可微量化参数—LSQ_AI小男孩的博客-CSDN博客
量化训练里ste的改进:
量化训练之补偿STE:DSQ和QuantNoise_AI小男孩的博客-CSDN博客
FQT(Fully Quantization Training)
全量化训练。从头开始,进行低精度的训练。
int8类型,如寒武纪、阿里(阿里达摩院提出:首个精度无损的INT8加速训练方案 | AAAI 2021_Amusi(CVer)的博客-CSDN博客)。
低精度浮点类型,如FP8:Nvidia H100 中的FP8 - 知乎
模型部署的工具:
NV:TensorRT
华为:MindSpore