模型轻量化中的量化（Quantization）——定点量化详解

模型轻量化中的量化（Quantization）——定点量化详解

目录

1. 简介
2. 定点量化的基本概念
3. 定点量化的数学基础
4. 定点量化的步骤
5. 定点量化的方法
   • 5.1 对称量化
   • 5.2 非对称量化
   • 5.3 逐层量化与逐通道量化
6. 定点量化的优缺点
7. 定点量化的应用实例
8. 代码示例
   • 8.1 代码说明
9. 总结

---

简介

随着深度学习模型规模的不断扩大，模型在存储和计算上的需求也日益增加，给实际应用尤其是边缘设备上的部署带来了巨大的挑战。量化（Quantization）作为一种有效的模型轻量化技术，通过将模型的高精度参数和激活值转换为低精度表示，显著减少模型的存储空间和计算量。其中，定点量化（Fixed-Point Quantization）是一种常见的量化方法，广泛应用于各种深度学习框架和硬件加速器中。本文将详细介绍定点量化的基本概念、数学基础、具体步骤和方法，并通过代码示例展示其实现过程。

定点量化的基本概念

定点量化是指将浮点数表示的模型参数和激活值转换为定点数表示，以降低数值精度，从而减少存储空间和计算资源。定点数通常由整数部分和小数部分组成，通过缩放因子（Scale）和零点（Zero Point）来映射浮点数到定点数的范围。

主要术语

• 量化位宽（Bit Width）：表示量化后定点数所使用的位数，常见的有8位、16位等。
• 缩放因子（Scale）：用于将浮点数映射到定点数范围的比例因子。
• 零点（Zero Point）：用于将浮点数的零值映射到定点数的对应值，通常为整数。

定点量化的数学基础

定点量化的核心在于找到合适的缩放因子和零点，将浮点数 $x$ 映射到定点数 $q$，其过程可以表示为：

$$q=\text{round}\left(\frac{x}{s}\right)+z$$

其中：

• $s$ 是缩放因子（Scale）。
• $z$ 是零点（Zero Point）。
• $\text{round}$ 表示四舍五入操作。

反量化过程将定点数 $q$ 转换回浮点数 $x^{\prime }$：

$$x^{\prime }=s\times (q-z)$$

对称量化与非对称量化

• 对称量化：零点 $z$ 通常为零，量化范围对称分布于零点两侧。

  $$q=\text{clip}(\text{round}(x/s),q_{\text{min}},q_{\text{max}}$$