AWQ量化(Activation-aware Weight Quantization)

已于 2024-11-06 08:40:43 修改
阅读量1k 收藏 7
点赞数 10
分类专栏： LLM推理优化 文章标签： 计算框架
于 2024-09-08 18:14:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/smartcat2010/article/details/142030399
版权

论文：

AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration

中文解读：

深入理解AWQ量化技术 - 知乎 (zhihu.com)

动机：端侧设备用LLM，为了减少显存占用量，所以要用INT4量化；

实现：只量化W矩阵，存储INT4；计算的时候再反量化为FP16（TensorRT-LLM反量化为FP8)，进行计算；

原理：1. 哪些w的量化误差，会导致最终误差较大？答：和这些w相乘的那些activation，绝对值大的；所以，选取activation矩阵中，绝对值较大的channels，和这些相乘的w行；2. 怎么缩小这些行的量化误差？答：量化误差，是由round取整带来的，只要把w先扩大一些，再进行

最低0.47元/天 解锁文章
8.4 MIT微软联手突破：4-bit量化大模型显存暴降75%！AWQ算法实测误差＜1.2%
yonggeit的博客
03-11 292
这种认知突破催生了激活感知权重量化（Activation-aware Weight Quantization，AWQ）算法——这项由MIT、微软等机构联合提出的创新技术，正在重塑大模型量化领域的游戏规则。
大模型量化技术-AWQ
段智华的博客
04-02 1017
大模型量化技术-AWQ在2023年6月，Ji Lin等人发表了论文。这篇论文详细介绍了一种激活感知权重量化算法，可以用于压缩任何基于 Transformer 的语言模型，同时只有微小的性能下降。关于 AWQ 算法的详细介绍，见。
AWQ：Activation-aware Weight Quantization 用于LLM量化与加速-（1）背景与原理
2301_76739570的博客
04-28 2803
AWQ原理介绍，大模型量化，怎样在更小的模型下，保留最好的效果
N卡 英伟达Nvidia 显卡及其计算能力（Compute Capability）表
最新发布
weixin_52582710的博客
03-10 707
某些库或软件对显卡算力有要求，可参考下表核对。比如：AWQ量化模型不支持算力小于7.5的显卡。
AWQ: ACTIVATION-AWARE W EIGHT QUANTIZATION FOR ON-DEVICE LLM COMPRESSION AND ACCELERATION阅读
m0_56243424的博客
11-13 991
大型语言模型（LLM）已经改变了众多人工智能（AI）应用。在设备上运行的LLM变得越来越重要：在边缘设备上本地运行LLM可以降低云计算成本并保护用户隐私。然而，模型体积庞大和硬件资源有限给部署带来了重大挑战。我们提出了激活感知权重量化（AWQ），这是一种对硬件友好的LLM仅低比特权重量化方法。AWQ发现，在LLM中，并非所有权重都同等重要。只需保护1%的显著权重，就能大幅降低量化误差。为了识别显著权重通道，我们应参考激活分布，而非权重。
MIT开源AWQ：激活值感知的LLM低位权重量化
青年AI研究员idea加油站，AI开发者的新能源充电桩。
08-11 745
AWQ 是由 MIT 韩松教授团队推出的一种针对大型语言模型（LLMs）的高效且精确的低位权重量化（INT3/4）方法，通过仅保护1%的显著权重就可以大大减少量化误差，且支持指令调整模型和多模态语言模型。代码已经开源！为了识别显著的权重通道，应参考激活分布，而不是权重。为了避免硬件低效的混合精度量化，通过数学推导得出，放大显著通道可以减少量化误差。AWQ采用等效变换来放大显著权重通道以保护它们。该比例通过离线收集激活统计数据确定。
AWQ模型量化实践
热门推荐
LuchangLi 的专栏
06-28 1万+
AWQ模型量化实践
【量化部署】AWQ in MLSys 2024
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
09-07 1246
AWQ in MLSys 2024：该方法是一个仅量化权重的方法（W4A16），AWQ认为只有极少部分（1%）模型权重是十分重要的，在量化时应该着重保护它们。AWQ根据校准数据输入模型后得到的激活值的量级来锁定重要权重，通过放大这些权重来实现对他们的保护，放大因子是对应激活量级的alpha次方。
AWQ介绍，构思 - PTQ简史(二)
EnsDoflamingo的博客
04-29 1569
AWQ基于激活值保留量化模型, 绕开了校准数据等PTQ模型量化诸多问题。并且在速度和性能上AWQ也取得了更多的进步，比如量化模型的内核聚合，SIMD-CPU高效利用等。尽管AWQ取得了必要的成功，然而关于AWQ性能实验的充分性，仍然值得更深层次的探索。
大模型量化之AWQ原理和应用
TFATS的博客
02-08 1821
AWQ（Activation-aware Weight Quantization）量化是一种基于激活值分布(activation distribution)挑选显著权重(salient weight)进行量化的方法，其不依赖于任何反向传播或重建，因此可以很好地保持LLM在不同领域和模式上的泛化能力，而不会过拟合到校准集，属训练后量化(Post-Training Quantization, PTQ)大类。
深度解析：大模型量化技术原理——AWQ与AutoAWQ
2401_84495872的博客
08-31 2918
本文简要介绍了诞生的AWQ背景和技术原理，同时以AutoAWQ为例进行了简单的说明。
EfficientAI Lab： 大模型AWQ量化
qq_19859865的博客
12-04 2580
AWQ（Activation-aware Weight Quantization）的核心是基于通道级别的尺度缩放（channel-wise scaling），来保护显著权重。而值得注意的是，是通过观察“activation”，而不是权重，来选择缩放的大小。此外，该方法不需要进行反向传播和重构，部署容易。左图表达Round-to-nearest方法的策略和效果，PPL非常高（不好）；中间的图表示作者的key observation，那就是保留一部分权重；
模型量化之AWQ和GPTQ
qiaotl的博客
12-26 9950
通过实际代码例子介绍如何进行模型量化
LLM量化--AWQ论文阅读笔记
two_apples的博客
07-15 2980
在本文中，提出了激活感知权重量化（AWQ），这是一种面向硬件的LLM低比特权重量化方法。猜想基于这样一种观察结果：权重不是等同重要的，仅保护1%的显著权重就能大大的减少量化误差。然后我们提出了通过观察激活来搜索最优的每个通道的缩放因子，以保护这些显著的权重。QAT因为高训练成本效率低，PTQ在低精度的时候精确度下降的多，最接近的工作是GPTQ，这种方法采用二阶信息来进行误差补偿，但是，它在重构的过程会过拟合校准集。
AWQ量化及AutoAWQ代码详解
小蜗牛的珍贵百宝箱
10-10 1297
量化是将模型中的浮点数参数转换为低位数表示（如INT8或INT4），以减少模型的存储需求和提高推理速度。量化的基本思路是通过减少数据的位宽来降低计算负担，但这可能会引入精度损失。AWQ旨在动态调整量化精度，以适应不同的模型和输入数据。AutoAWQ是一种自动化的AWQ实现，能够根据模型的结构和输入数据自动选择最优的量化方案。其核心思想是通过分析模型的权重分布和输入样本，确定每层的最佳量化位数。AWQ量化和AutoAWQ为深度学习模型的优化提供了有效的方法。
大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度
05-15 7132
AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。
大语言模型量化方法对比：GPTQ、GGUF、AWQ
张伟的专栏
02-01 5158
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
深度学习模型压缩利器：AWQ 安装与配置完全指南
gitblog_09504的博客
09-13 828
深度学习模型压缩利器：AWQ 安装与配置完全指南 llm-awq AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration 项目地...
Mistral-Large-Instruct-2407-AWQ
01-21
### 关于 Mistral-Large-Instruct-2407-AWQ 的详细介绍 #### 模型概述 Mistral-Large-Instruct-2407-AWQ 是一款基于量化技术优化的大规模预训练语言模型，旨在降低运行成本并提高推理效率。该版本采用了 AWQ (Activation-aware Weight Quantization) 技术，在保持较高精度的同时显著减少了计算资源需求[^1]。 #### 获取文档与下载链接 为了方便开发者获取最新资料，建议访问官方发布的教程页面以及魔搭社区中的 Hugging Face 镜像站点来查找详细的安装指南和技术文档。这些平台通常会提供最全面的说明和支持材料[^3]。 ```bash # 访问HuggingFace镜像站获取更多详情 https://hf-mirror.com/ ``` #### 使用方法简介 对于希望快速上手此模型的应用场景而言，可以通过 OpenWebUI 工具实现一键部署功能。这使得即使是不具备深厚技术背景的人也能轻松完成配置工作。具体操作流程可参照相关视频教程了解每一步骤的具体实施细节[^2]。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "mistral-large-instruct-2407-awq" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) input_text = "<|user|>\nWhat is the capital of France?<|end|>" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) response = tokenizer.decode(outputs[0], skip_special_tokens=True) print(response) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值