一步一步理解大模型：模型量化技术1-简介

chattyfish

已于 2023-07-23 06:47:31 修改

阅读量3.6k

点赞数 8

文章标签：深度学习人工智能

于 2023-07-21 21:07:41 首次发布

本文链接：https://blog.csdn.net/chattyfish/article/details/131846541

版权

模型量化（Quantization）是一种用来减少模型大小和提高模型运行速度的技术。

默认情况下，模型使用32位浮点数进行所有预测计算，这也使得模型变得非常大。我们可以通过进行一些舍入操作，基本上达到接近正确的答案，这样可以在不损失太多精度的情况下，使模型变得更小。

具体而言，假设我们的模型参数都是从0到1的之间的数，如果用一个比特来储存，你只能储存两个数0和1，如果增加一个比特，你就有4种方法来表示从0到1之间的范围：

值的间隔为0.33.

再增加一个比特，你就有8种方法来表示这个范围：

值的间隔为0.125

依此类推，你有2的n次方种方法来表示这个范围，这里的n就是比特的位数。值的间隔就是

1 / pow(2,n)

现在，我们把这个0到1之间的范围称为一个权重，看成一片连续的水面，上面表中的值看成一个一个的“落脚点”。

假设我们有一个特定的值，该权重在某个“落脚点”处"激活"。简单的说，激活的意思就是如果这个靠近的某个落脚点，就把它算成某个落脚点的值. 在训练模型的时候，机器会调整这些权重，这些权重会用某个落脚点的值来表示。

比如，我们有一个权重，它被训练成在0.12的时候时激活。如果是8位比特来表示，阈值的间隔为 1 / pow(2,8) = 0.00390625

那么权重会在哪里激活呢，会在0.12109375的地方激活，如下表所示：

如果用4位比特来表示，权重会在0.125的的地方激活：

那么二者的精度相差多少呢？

我们先比较两者的绝对精度，用8位比特表示0.12时候，精度为

0.12 / 0.12109375 = 0.9909677419354839

用4位比特表示的时候，精度为：

0.12 / 0.125 = 0.96,

二者的比值为：

0.96 / 0.9909677419354839 = 0.96875 约为97%，也可以说损失的精度大约为3%

就是说，你仅用少量的精度损失的代价节省了大量的存储空间，是非常划算的。

当然对于不同的数字，损失的精度是不同的。总的来看，模型量化的精度损失取决于多种因素，包括所使用的量化策略、模型的特性，以及实际应用中的需求等。以下是一些常见的量化方法有：

16-bit量化，也叫半精度浮点数，也叫做FP16量化，精度损失通常非常小，很多情况下几乎可以忽略不计。这使得FP16成为许多深度学习任务中的优选量化策略，特别是在需要在GPU上进行大规模计算时。

8-bit量化：8-bit（INT8）量化可能会导致一些精度损失，但通常能够控制在可接受的范围内。在许多任务中，INT8量化后的模型精度与原始模型相比，精度下降往往在1%以内。

4-bit量化：对模型进行4-bit（INT4）量化，精度损失可能会相对更大。一些先进的量化策略已经能够将精度损失控制在个位数百分点范围内。

关注