神经网络压缩之低比特量化的优劣分析

优势

减小模型尺寸（减少内存占用）：如8位整型量化可减少75%的模型大小，更小的模型大小意味着不需要更多的内存

加快推理速度：

1）8 位的访问次数要比 32 位多，在读取 8 位整数时只需要 32 位浮点数的 1/4 的内存带宽，例如，在 32 位内存带宽的情况下，8 位整数可以一次访问 4 个，32 位浮点数只能 1 次访问 1 个。而且使用 SIMD 指令(19.2节会加速介绍该指令集)，可以在一个时钟周期里实现更多的计算。另一方面，8 位对嵌入式设备的利用更充分，因为很多嵌入式芯片都是 8 位、16 位的，如单片机、数字信号处理器(DSP 芯片)。

2）整型运算通常比浮点型运算更快。

降低设备功耗：内存耗用少了推理速度快了自然减少了设备功耗

支持定制处理器：硬件设计可结合8bit方案做优化，如npu，fpga等

 

缺点

模型量化增加了操作复杂度，在量化时需要做一些特殊的处理，否则精度损失更严重

模型量化会损失一定的精度，虽然在微调后可以减少精度损失，但推理精度确实下降