【AI】模型量化--模型量化技术基础

1. 背景

对于接触过AI模型的人来说，经常会听说一个词语模型量化，那什么是模型量化？为什么需要模型量化？有哪些常用的模型量化技术呢？本文将一一展开叙述。

2. 概念

模型量化是一种在深度学习和机器学习领域中广泛应用的技术，旨在通过减少模型中数据的表示精度来降低模型的存储需求和计算成本，同时尽量保持模型的性能。简单的说就是将模型中的权重和激活值从较高精度的数据类型（如 32 位浮点数）转换为较低精度的数据类型（如 8 位整数）的过程。

3. 为什么要量化？

3.1 减少存储需求

模型权重大小的计算公式如下：

模型大小 = 参数量 x 每个参数所占字节数

以LLAMA 13B举例，在不同的精度下，模型大小如下：

从上图可以看到，当模型精度越小时模型权重也越小。因此量化有助于降低模型的大小，减少存储需求，存储包括磁盘和显存。

3.2 加速推理

在深度学习中，矩阵乘法和卷积等运算占据了大量的计算量。低精度数据类型（如 8 位整数࿰