LLM大模型经典PTQ量化方法总结

最新推荐文章于 2024-09-30 13:49:56 发布
最新推荐文章于 2024-09-30 13:49:56 发布
阅读量924 收藏 19
点赞数 28
文章标签： 人工智能 langchain microsoft 开源 产品经理 大模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DEVELOPERAA/article/details/141469338
版权

本文综合LLM.int8()、SmoothQuant、AWQ、GPTQ、FP8等主流PTQ量化方法的论文结论，总结如下：

「PS：以上这些方法在实践中验证是有效的，以下结论基于这些方法的相关研究，可用于分析模型效果和评估结论的大致指导，但是，量化误差的影响因素是多元的，不一定所有模型、所有数据都普适」

  • • 权重易量化，激活难量化；
  • • 激活中，不同Tokens的数据分布表现出一致的趋势，异常值出现在固定的一些通道，不同Tokens的相同通道值方差**较小；
  • • 4bit及以下权重量化，权重中有0.1%～1%的权重对量化误差影响很大，对应激活中的异常通道
  • • 模型超过6.7B，RTN w8a8精度下降明显；
  • • FP8由于数据点的分布不同于Int的均匀分布，量化效果较好，但需要结合实际的数据分布来看；
  • • 这些方法的实操，通过Transformers/TensorRT-LLM/AutoGPTQ**/AutoAWQ/AutoFP8等开源库都可方便的生成量化模型，不是很复杂；推理上，各个方法基本都是获取scale、zeropoint、max、min、group等参数，通过对应的高效kernel来实现，vLLM/TensorRT-LLM中也有对应的实现；
  • • 有效PTQ量化方法的三个典型解决方案：
    • • 实验观察（激活比权重难量化）：RTN->LLM.int8()->SmoothQuant->AWQ
    • • 最优化方法：GPTQ
    • • 数据分布与数值表示：FP8
  • • GPTQ量化过程理解起来比较复杂，其他算法相对简单。

在这里插入图片描述

基本概念

量化

以较低的推理精度损失，将高精度（通常为float32或者大量可能的离散值）的浮点型参数近似为有限个离散值（通常为int8）的过程。

量化目标

在不明显损失效果的前提下，降低显存占用，提高推理速度

量化方式

  • • QAT（Quantization-Aware-Training）：通过近似微分rounding operation 操作，进行retrain或finetune，资源消耗大，LLM很少用
  • • PTQ（Post-Training Quantization）：直接量化pre-trained model，需要少量数据校正，LLM的主流量化方法都是PTQ

量化粒度

  • • per-tensor
  • • per-token/per-channel
  • • group-wise

在这里插入图片描述

量化对象

  • • Weights
  • • Activations
  • • KV Cache

其他常见概念

  • • 静态量化：通过校准数据离线获取量化参数
  • • 动态量化：在线推理时动态计算量化参数
  • • 对称量化：量化公式中的量化参数zero-point固定为0的量化
  • • 非对称量化：量化公式中的量化参数zero-point不固定为0的量化
  • • 仅权重量化：比如AWQ & GPTQ
  • • 权重激活同时量化：比如SmoothQuant

经典算法

RTN

直接通过公式 q = Clip(Round(r/s) + z, qmin, qmax) 量化模型，通常作为baseline，对于大模型（一般超过6.7B），精度损失较大。

在这里插入图片描述

LLM.int8()

  • • 核心思想

激活中存在离群值(Emergent Features),这些离群值对量化精度取决定性作用。分解权重和激活矩阵，对绝大部分权重和激活用8bit量化，对离群特征的几个维度保留16bit，对其做高精度的矩阵乘法。主要操作概括为：矩阵分解、量化矩阵乘&高精度矩阵乘、矩阵相加，下图解释的非常清楚：

在这里插入图片描述

  • • 优点

能保持与FP16相当的精度，同时，有效降低显存占用

  • • 缺点

计算比FP16还慢

在这里插入图片描述

SmoothQuant

  • • 核心思想

weights容易量化，activations不易量化，通过一个数学等价的转换形式，迁移激活的outliers到weights，均衡一下，使得weights和activations都相对好量化。

在这里插入图片描述

观察数据得到的规律

  • • 权重易量化：之前的工作LLM.int8()表明，使用 INT8 甚至 INT4 量化 LLM 的权重不会降低准确性；
  • • 异常值使激活难量化：激活异常值比大多数激活值大约 100 倍。如果我们使用 INT8 量化，大多数值将被清零；
  • • 异常值持续存在于固定的通道（channel）中：固定通道存在异常值，并且异常值通道值较大。

在这里插入图片描述

  • • 优点

权重和激活均8bit量化，W8A8，相比FP16量化损失较小，加速1.4倍左右，显存减少1半

  • • 缺点

不适合更低bit的量化

AWQ

  • • 核心思想

所有权重不是同等重要的，只有0.1%～1%显著重要的权重，保护这些权重，可以有效降低量化误差；重要的权重就是对应大激活值的权重，它们关联着更重要的特征，增大其值可以减少量化误差。

在这里插入图片描述

  • • 优点

不会过拟合校准数据，相比GPTQ；利用重要channels上value的均值，grid search最优系数；

使用更少的校准数据，相比GPTQ；

  • • 缺点

Sorry，i don’t know，but it must have.

GPTQ

GPTQ 并不是凭空出现的，它的原理来自于另一个量化方法OBQ(Optimal Brain Quantization)，而OBQ 实际上是对 OBS(Optimal Brain Surgeon，一种比较经典的剪枝方法）的魔改， 而OBS则来自于OBD（Optimal Brain Damage，由 Yann LeCun** 在1990年提出的剪枝方法）。

  • • 核心思想

按行迭代进行权重量化，部分权重量化后，利用近似二阶导数信息，更新未量化的权重，从而弥补已量化权重带来的精度损失。

  • • 优点

小批量推理加速明显，4bit量化精度损失可忽略，可扩展至2bit，甚至三元量化

  • • 缺点

可能会过拟合于校准数据

  • • 原理

目标优化函数

在这里插入图片描述

优化过程示意图（省去Hessian逆&Cholesky，便于理解）

在这里插入图片描述

在这里插入图片描述

伪代码（耐心看下，就能懂）

在这里插入图片描述

FP8

  • • 计算公式

Q = Clip(Round(X/Xmax*Qmax), Qmin, Qmax)

与Int8对比
  • • Int8更适合权重，更适合符合均匀分布的数据
  • • FP8更适合激活，更适合高斯分布、t分布等的数据
  • • Int8量化激活的不足在于，量化分布的范围太大（异常值所致），导致大多数量化 bins 为空，小的量化值被量化为零或者较小值的几个bins，基本上消除了信息
  • • 下图为FP8 E4M3的数据格式表示的数据点，“中间密两头稀” ，E[X]M[Y]，其中X，Y的不同，以及指数表示中bias的不同，都会对分布产生影响。

在这里插入图片描述

开源工具

AutoAWQ

https://github.com/casper-hansen/AutoAWQ

AutoGPTQ

https://github.com/AutoGPTQ/AutoGPTQ

Auto-FP8

https://github.com/neuralmagic/AutoFP8

TensorRT-LLM

https://github.com/NVIDIA/TensorRT-LLM/blob/main/examples/quantization/quantize.py

Nvidia Benchmark 参考数据

在这里插入图片描述

在这里插入图片描述

Performance & Accuracy Tradeoff

在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

大模型老猿
关注
大模型经典PTQ量化方法总结
lqfarmer的博客
08-15 819
本文综合LLM.int8()、SmoothQuant、AWQ、GPTQ、FP8等主流PTQ量化方法的论文结论，总结如下：「PS：以上这些方法在实践中验证是有效的，以下结论基于这些方法的相关研究，可用于分析模型效果和评估结论的大致指导，但是，量化误差的影响因素是多元的，不一定所有模型、所有数据都普适」• 权重易量化，激活难量化；• 激活中，不同Tokens的数据分布表现出一致的趋势，异常值出现在固定的一些通道，不同Tokens的相同通道值方差较小；
AI大模型高效推理的技术综述！
xiangxueerfei的博客
07-12 1230
大型语言模型在人工智能领域中具有巨大的潜力。
大模型（LLM）的量化技术Quantization原理学习
热门推荐
penriver的博客
03-02 1万+
在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型的量化技术应运而生 本文记录针对量化技术原理的学习
大模型LLM量化 , 5个基础技术知识
python12345_的博客
07-17 1464
写这篇文章原因下载 qwen 110B 模型发现不同量化占的内存差异很大,就想搞明白到底量化会着重影响哪方面的推理能力Qwen1.5-110B-Chat的显存全精度部署(32 精度)占用220GB;8bit量化部署Qwen1.5-110B需要113GB显存;4bit量化部署Qwen1.5-110B，需要62GB显存大型语言模型（LLMs）的量化是减小其大小和内存使用的关键策略，同时努力保持其质量。这种压缩技术对于在计算能力有限的设备上部署高级模型至关重要。
量化方法怎么选？如何评估量化后的大模型LLM？
python1234_的博客
08-02 537
本文都是针对PTQ(评估量化对各种NLP任务的影响评估量化对不同LLMs的影响不同的Tensor类型对量化的影响不同的量化方法对模型的影响模型越大，对仅权重和KV缓存量化的容忍度越高，而对激活量化的容忍度较低。利用专家混合（MoE）技术增加模型大小并不一定增强模型对量化的容忍度。对于大多数NLP任务，将大多数LLM家族量化为W4、W4A8、KV4和W8KV4，性能损失可以忽略不计（
目前针对大模型进行量化的方法概览
stephen147的博客
08-12 1279
模型量化是指以较低的推理精度损失将连续取值（通常为float32或者大量可能的离散值）的浮点型权重近似为有限多个离散值（通常为int8）的过程。通过以更少的位数表示浮点数据，模型量化可以减少模型尺寸，进而减少在推理时的内存消耗，并且在一些低精度运算较快的处理器上可以增加推理速度。具体如下图所示，[-T, T]是量化前的数据范围，[-127, 127]是量化后的数据范围。
大模型LLM量化的5个基础技术知识
xzp740813的博客
08-07 792
Qwen1.5-110B-Chat的显存全精度部署(32 精度)占用220GB;8bit量化部署Qwen1.5-110B需要113GB显存;4bit量化部署Qwen1.5-110B，需要62GB显存大型语言模型（LLMs）的量化是减小其大小和内存使用的关键策略，同时努力保持其质量。这种压缩技术对于在计算能力有限的设备上部署高级模型至关重要。
大模型量化概述
2401_85324918的博客
08-02 863
模型量化是指以较低的推理精度损失将连续取值（通常为float32或者大量可能的离散值）的浮点型权重近似为有限多个离散值（通常为int8）的过程。通过以更少的位数表示浮点数据，模型量化可以减少模型尺寸，进而减少在推理时的内存消耗，并且在一些低精度运算较快的处理器上可以增加推理速度。具体如下图所示，[-T, T]是量化前的数据范围，[-127, 127]是量化后的数据范围。本文简要概述了模型量化基本原理以及目前针对大模型的一些量化方法。
QuIP: 大语言模型的两位量化方法及其保障
步子哥的博客
07-14 1080
大型语言模型(LLMs)在文本生成、少样本学习、推理等多个领域取得了重大突破。然而,这些模型动辄数百亿参数的庞大规模也给部署和推理带来了巨大挑战。为了提高LLMs的运行效率,研究人员们一直在探索各种模型压缩技术,其中参数量化是一种很有前景的方法。本文将介绍一种新的LLM量化算法QuIP(Quantization with Incoherence Processing),该方法首次实现了LLMs的高质量2比特量化,并给出了理论保证。
大模型（LLM）的推理加速
qq_52053775的博客
05-02 7117
论文分析并总结了如何提高大型语言模型（LLM）在推断阶段的效率。文中指出，尽管LLM在多种任务中表现出色，但它们在资源有限的环境中的部署却面临着由于模型大小、注意力机制的复杂性和自回归解码过程所带来的计算和存储成本的挑战。文章通过建立一个包含数据层面、模型层面和系统层面优化的全面分类体系，探讨了当前文献中的不同优化策略，并进行了一系列比较实验，以提供定量见解。最后，文中还总结了现有知识并讨论了未来的研究方向。 Transformer由注意力机制和FFN层构成，自注意力机制带来大量的计算量，计算
让大模型轻装上阵：LoftQ 量化框架助力高效推理
步子哥的博客
06-15 591
LoftQ 框架为大型语言模型的推理提供了新的解决方案。它通过将量化和低秩近似相结合，有效地压缩了模型参数，并显著提高了模型在各种下游任务上的泛化能力。LoftQ 的出现为大模型的部署和应用带来了新的希望，将推动大模型在更多场景中的应用。参考文献Q: 这篇论文试图解决什么问题？A: 这篇论文试图解决的问题是在大型语言模型（LLMs）中，当同时应用量化（Quantization）和低秩适应（LoRA fine-tuning）时，如何在下游任务中保持或提升模型性能。
【深度学习】大模型GLM-4-9B Chat ，微调与部署(3) TensorRT-LLM、TensorRT量化加速、Triton部署
q742971636的博客
07-25 2258
TensorRT-LLM官方目前说在v0.12.0版本才会支持GLM-4-9B Chat ，下面以v0.10.0的魔改来做GLM-4-9B Chat的量化部署。本文目标就是加速GLM-4-9B Chat，看看能多快。A100卡。
模型压缩与加速部署:知识蒸馏量化稀疏化与模型剪枝
AI天才研究院
04-30 439
1. 背景介绍 深度学习模型在各个领域取得了巨大的成功，但随之而来的是模型规模的不断膨胀。庞大的模型参数量带来了训练和推理时间过长、存储空间占用过多等问题，限制了模型在资源受限设备上的部署和应用。为了解决这些问题，模型压缩与加速技术应运而生。 1.1 深度学习模型面临的挑战
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1231
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
最新发布
rjszcb的博客
09-30 503
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
Python精选200Tips：171-175
AnFany
09-26 1303
Python深度学习的项目
Her来了，OpenAI正式发布高级语音模式
shadowcz007的博客
09-25 539
OpenAI宣布将Advanced Voice Mode（AVM）扩展到更多付费用户，包括ChatGPT的Plus和Teams用户。该功能旨在使ChatGPT的语音交互更加自然，并新增五种新声音和改进的口音识别能力。虽然Sky声音因法律争议被移除，但AVM的整体设计和性能得到了提升。新版本不仅能在用户打断时立即停止回答，还能根据用户语音中的情感调整响应。此外，视频和屏幕共享功能暂未推出。AVM目前...
TensorRT-LLM大模型部署项目代码揭秘
本资源的文件压缩包名为“大模型大模型部署项目代码.zip”，包含了与TensorRT和LLM（Large Language Model）相关的主项目文件，即“TensorRT-LLM主”，以及一个具体的模型实现目录“ChatGLM3-main”。 知识点详细...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值