超级会员免费看
本文介绍了OpenPPL的PPQ量化工具，包括量化原理、量化粒度、框架概述和算子划分。量化可以减少内存带宽、存储空间，提高系统吞吐量和降低延迟。PPQ通过不同调度逻辑划分可量化和不可量化算子，并通过图融合优化处理硬件精度对齐问题。此外，文章还展示了PyTorch Mobilenet v2模型的量化实践步骤。
目录
量化实践：以pytorch mobilenet v2 模型为例
量化原理
为什么需要量化？
1、减少内存带宽和存储空间
深度学习模型主要是记录每个 layer（比如卷积层/全连接层） 的 weights 和 bias, FP32 模型中，每个 weight 数值原本需要 32-bit 的存储空间，量化之后只需要 8-bit 即可。因此，模型的大小将直接降为将近 1/4。
不仅模型大小明显降低， activation 采用 8-bit 之后也将明显减少对内存的使用，这也意味着低精度推理过程将明显减少内存的访问带宽需求，提高高速缓存命中率，尤其对于像 batch-norm， relu，elmentwise-sum 这种内存约束(memory bound)的 element-wise 算子来说，效果更为明显。
2、提高系统吞吐量（throughput），降低系统延时（latency）
直观理解，试想对于一个 专用寄存器宽度为 512 位的 SIMD 指令&
订阅专栏 解锁全文
扫一扫
1605
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
