AWQ量化(Activation-aware Weight Quantization)

已于 2024-11-06 08:40:43 修改
阅读量1.1k 收藏 7
点赞数 10
分类专栏： LLM推理优化 文章标签： 计算框架
于 2024-09-08 18:14:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smartcat2010/article/details/142030399
版权

论文：

AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration

中文解读：

深入理解AWQ量化技术 - 知乎 (zhihu.com)

动机：端侧设备用LLM，为了减少显存占用量，所以要用INT4量化；

实现：只量化W矩阵，存储INT4；计算的时候再反量化为FP16（TensorRT-LLM反量化为FP8)，进行计算；

原理：1. 哪些w的量化误差，会导致最终误差较大？答：和这些w相乘的那些activation，绝对值大的；所以，选取activation矩阵中，绝对值较大的channels，和这些相乘的w行；2. 怎么缩小这些行的量化误差？答：量化误差，是由round取整带来的，只要把w先扩大一些，再进行

最低0.47元/天 解锁文章
【人工智能之大模型】详述大模型中​AWQ（Activation-aware Weight Quantization）量化的关键步骤？
985小水博的摸鱼日常
04-26 1838
【人工智能之大模型】详述大模型中​AWQ（Activation-aware Weight Quantization）量化的关键步骤？
大模型量化技术-AWQ
段智华的博客
04-02 1045
大模型量化技术-AWQ在2023年6月，Ji Lin等人发表了论文。这篇论文详细介绍了一种激活感知权重量化算法，可以用于压缩任何基于 Transformer 的语言模型，同时只有微小的性能下降。关于 AWQ 算法的详细介绍，见。
AWQ量化技术详解
青蛙博客
03-20 1137
AWQ（Activation-aware Weight Quantization）是一种面向大模型的硬件友好型量化技术。它通过分析激活值分布来识别关键权重通道，对这些关键通道保留高精度（如FP16），而将其他权重量化为低比特整数（如INT3/INT4），从而实现模型的压缩与加速。其核心目标是在减少显存占用和计算开销的同时，最大限度地保留模型性能。
AWQ：Activation-aware Weight Quantization 用于LLM量化与加速-（1）背景与原理
2301_76739570的博客
04-28 2881
AWQ原理介绍，大模型量化，怎样在更小的模型下，保留最好的效果
INT4 / INT8 横评：GPTQ、AWQ、SmoothQuant 谁才是推理最优解
最新发布
努力分享一些人工智能相关的知识干货！
04-14 1429
当你的模型已经训好，下一步就是压缩部署，但面对 GPTQ、AWQ、SmoothQuant 这三套热门工具方案，选谁最优？怎么选？能不能组合用？ > 本篇不讲概念，只讲实测对比。我们围绕 **推理吞吐、精度损失、显存节省、部署兼容性、社区活跃度** 五个维度，横评这三大 INT4/INT8 主流工具链，帮你快速决策哪种最适合你的业务场景。 > 想量化不踩坑？想用得稳、用得准、跑得快？这篇必须收藏。
AWQ: ACTIVATION-AWARE W EIGHT QUANTIZATION FOR ON-DEVICE LLM COMPRESSION AND ACCELERATION阅读
m0_56243424的博客
11-13 1025
大型语言模型（LLM）已经改变了众多人工智能（AI）应用。在设备上运行的LLM变得越来越重要：在边缘设备上本地运行LLM可以降低云计算成本并保护用户隐私。然而，模型体积庞大和硬件资源有限给部署带来了重大挑战。我们提出了激活感知权重量化（AWQ），这是一种对硬件友好的LLM仅低比特权重量化方法。AWQ发现，在LLM中，并非所有权重都同等重要。只需保护1%的显著权重，就能大幅降低量化误差。为了识别显著权重通道，我们应参考激活分布，而非权重。
MIT开源AWQ：激活值感知的LLM低位权重量化
青年AI研究员idea加油站，AI开发者的新能源充电桩。
08-11 758
AWQ 是由 MIT 韩松教授团队推出的一种针对大型语言模型（LLMs）的高效且精确的低位权重量化（INT3/4）方法，通过仅保护1%的显著权重就可以大大减少量化误差，且支持指令调整模型和多模态语言模型。代码已经开源！为了识别显著的权重通道，应参考激活分布，而不是权重。为了避免硬件低效的混合精度量化，通过数学推导得出，放大显著通道可以减少量化误差。AWQ采用等效变换来放大显著权重通道以保护它们。该比例通过离线收集激活统计数据确定。
AWQ模型量化实践
热门推荐
LuchangLi 的专栏
06-28 1万+
AWQ模型量化实践
【量化部署】AWQ in MLSys 2024
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
09-07 1284
AWQ in MLSys 2024：该方法是一个仅量化权重的方法（W4A16），AWQ认为只有极少部分（1%）模型权重是十分重要的，在量化时应该着重保护它们。AWQ根据校准数据输入模型后得到的激活值的量级来锁定重要权重，通过放大这些权重来实现对他们的保护，放大因子是对应激活量级的alpha次方。
AWQ介绍，构思 - PTQ简史(二)
EnsDoflamingo的博客
04-29 1592
AWQ基于激活值保留量化模型, 绕开了校准数据等PTQ模型量化诸多问题。并且在速度和性能上AWQ也取得了更多的进步，比如量化模型的内核聚合，SIMD-CPU高效利用等。尽管AWQ取得了必要的成功，然而关于AWQ性能实验的充分性，仍然值得更深层次的探索。
深度解析：大模型量化技术原理——AWQ与AutoAWQ
2401_84495872的博客
08-31 3052
本文简要介绍了诞生的AWQ背景和技术原理，同时以AutoAWQ为例进行了简单的说明。
EfficientAI Lab： 大模型AWQ量化
qq_19859865的博客
12-04 2647
AWQ（Activation-aware Weight Quantization）的核心是基于通道级别的尺度缩放（channel-wise scaling），来保护显著权重。而值得注意的是，是通过观察“activation”，而不是权重，来选择缩放的大小。此外，该方法不需要进行反向传播和重构，部署容易。左图表达Round-to-nearest方法的策略和效果，PPL非常高（不好）；中间的图表示作者的key observation，那就是保留一部分权重；
大模型量化之AWQ原理和应用
TFATS的博客
02-08 1970
AWQ（Activation-aware Weight Quantization）量化是一种基于激活值分布(activation distribution)挑选显著权重(salient weight)进行量化的方法，其不依赖于任何反向传播或重建，因此可以很好地保持LLM在不同领域和模式上的泛化能力，而不会过拟合到校准集，属训练后量化(Post-Training Quantization, PTQ)大类。
模型量化之AWQ和GPTQ
qiaotl的博客
12-26 1万+
通过实际代码例子介绍如何进行模型量化
LLM量化--AWQ论文阅读笔记
two_apples的博客
07-15 3060
在本文中，提出了激活感知权重量化（AWQ），这是一种面向硬件的LLM低比特权重量化方法。猜想基于这样一种观察结果：权重不是等同重要的，仅保护1%的显著权重就能大大的减少量化误差。然后我们提出了通过观察激活来搜索最优的每个通道的缩放因子，以保护这些显著的权重。QAT因为高训练成本效率低，PTQ在低精度的时候精确度下降的多，最接近的工作是GPTQ，这种方法采用二阶信息来进行误差补偿，但是，它在重构的过程会过拟合校准集。
AWQ量化及AutoAWQ代码详解
小蜗牛的珍贵百宝箱
10-10 1378
量化是将模型中的浮点数参数转换为低位数表示（如INT8或INT4），以减少模型的存储需求和提高推理速度。量化的基本思路是通过减少数据的位宽来降低计算负担，但这可能会引入精度损失。AWQ旨在动态调整量化精度，以适应不同的模型和输入数据。AutoAWQ是一种自动化的AWQ实现，能够根据模型的结构和输入数据自动选择最优的量化方案。其核心思想是通过分析模型的权重分布和输入样本，确定每层的最佳量化位数。AWQ量化和AutoAWQ为深度学习模型的优化提供了有效的方法。
大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度
05-15 7450
AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。
大语言模型量化方法对比：GPTQ、GGUF、AWQ
张伟的专栏
02-01 5250
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
AWQ量化
03-31
AWQ（Activation-aware Weight Quantization）是一种针对大规模语言模型压缩和加速的技术。该技术通过引入激活感知权重量化的方式，在减少模型参数存储需求的同时保持较高的推理性能[^1]。 #### 核心原理 AWQ的核心...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值