神经网络量化基础
神经网络量化基础(1)——模型的构建与基础量化函数的实现
神经网络量化基础(2)——量化模型的实现
文章目录
前言
后量化训练(Post Training Quantization):这种方法是最常用的,其中weight跟上述一样也是被提前量化好的,然后activation
也会基于之前校准过程中记录下的固定的scale
和zero_point
进行量化,整个过程不存在量化参数scale
和zero_point
的再计算;
本文是在阅读博客时对代码的整理,旨在对量化的基础过程有更加清晰的认识。主要包括,基础训练模型的构建,对训练模型的测试和一些基础的量化函数求解,如:“计算尺度因子,零点,进行量化操作和反量化操作。
本文采用pytorch手工构建了一个基础网络模型,数据集采用mnist数据集,并对网络进行量化。不在赘述,直接看训练代码。