大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度

已于 2024-05-23 11:26:06 修改
阅读量7.1k 收藏 8
点赞数 8
文章标签： 语言模型 人工智能 自然语言处理
于 2024-05-15 16:15:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/linzhiji/article/details/138912632
版权

GPTQ: Post-Training Quantization for GPT Models

GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。

该方法背后的思想是，尝试通过最小化该权重的均方误差将所有权重压缩到4位。在推理过程中，它将动态地将其权重去量化为float16，以提高性能，同时保持低内

gptq 常用4bit 8bit量化

GGUF：GPT-Generated Unified Format

GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。

虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。

AWQ: Activation-aware Weight Quantization

AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。AWQ和GPTQ作为方法有几个不同之处，但最重要的是AWQ假设并非所有权重对LLM的性能都同等重要。

也就是说在量化过程中会跳过一小部分权重，这有助于减轻量化损失。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能

awq 一种模型量化 常用4bit量化 精度比同级gptq高一些

以千问qwen 7B 为例，显卡A4000 16G显存

Qwen/Qwen1.5-7B-Chat

# modeIdOrPath="Qwen/Qwen1.5-14B-Chat-GPTQ-Int4"
modeIdOrPath="Qwen/Qwen1.5-7B-Chat"
# modeIdOrPath="Qwen/Qwen1.5-7B-Chat-AWQ" # the quantized model
# modeIdOrPath="Qwen/Qwen1.5-7B-Chat-GPTQ-Int8"
fType=torch.bfloat16
model = AutoModelForCausalLM.from_pretrained(
    modeIdOrPath,
    torch_dtype=fType,
    device_map='auto',
    # attn_implementation="flash_attention_2"
)

初始加载显存占用  17G

 http请求  翻译中文：Trump was always bothered by how Trump Tower fell 41 feet short of the General Motors building two blocks north. 

平均速度  2-3秒

请求后显存占用18G左右

Qwen/Qwen1.5-7B-Chat  增加 flash_attention_2

model = AutoModelForCausalLM.from_pretrained(
    modeIdOrPath,
    torch_dtype=fType,
    device_map='auto',
    attn_implementation="flash_attention_2"
)

初始显存占用 17G

速度还是2-3秒，没有明显变化 

Qwen/Qwen1.5-7B-Chat-GPTQ-Int8

初始显存占用 11G 

平均时间间隔 15 秒，比非量化模型慢了不少

跑了几个请求后，显存占用 12.7G

参考：
大语言模型量化方法对比：GPTQ、GGUF、AWQ - 知乎

https://kaitchup.substack.com/p/fine-tuning-and-quantization-of-qwen15

linzhiji
关注
国产大模型在边缘设备的量化部署实战：从 FP32 到 INT8 的转换与优化
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-07 960
在国产大模型落地过程中，“轻量化”已经成为部署在 Jetson、树莓派、国产 ARM 板卡等边缘设备的首要挑战。相比传统云端部署方式，边缘部署更关注运行时内存占用、推理速度与功耗表现。而模型量化（Quantization）正是解决这一问题的核心利器。 本篇文章将以 Qwen2.5 和 DeepSeek-V3 为例，系统讲解如何将 FP32 全精度模型转换为 INT8 甚至更低精度模型，并完成边缘设备的高效推理部署。涵盖量化原理解析、部署工具链选择、INT8 实战步骤、性能对比测试与落地建议等，适合所有希望
国产大模型轻量部署实测报告：推理速度 × 内存占用 × 精度表现全维度对比与趋势解析
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-07 813
国产大模型落地不止于“部署成功”，还要关注是否“跑得稳 × 算得准 × 撑得起”。 本篇基于 Jetson Nano / Orin、Android、iOS 等多平台，对轻量化后的 Qwen、DeepSeek 等模型进行全流程实测，涵盖推理速度、显存占用、精度保持率与能效评分等关键指标。 同时，提出适配不同端侧应用的部署建议、工具链组合方式，并分析国产模型轻量化在未来 Agent / 私有应用中的落地趋势，是你进行模型选型、性能预估与实际部署的实用指南。
哪种LLM量化方法最适合您？：GGUF、GPTQ 还是 AWQ
weixin_40358523的博客
07-31 1120
AWQ 实现了出色的量化性能，尤其是对于指令调整的 LM 和多模态 LM。即使对于具有大量参数的模型（例如，GPT 模型中的 1750 亿个参数），GPTQ 也可以实现高精度和高效的量化。GGUF 是一种更高效、更灵活的存储和使用 LLM 进行推理的方法。它经过量身定制，可快速加载和保存模型，并采用用户友好的方法来处理模型文件。总之，AWQ 采用激活感知方法，通过观察激活来保护显着权重，并展示了出色的量化性能，尤其是对于指令调整的 LM。总之，GPTQ 是一种一次性权重量化方法，它利用。
哪种量化方法更好：GPTQ vs. GGUF vs. AWQ[大模型量化]
强化学习曾小健
07-10 3967
如果你没有GPU设备或者没有最新最好的GPU可用，GGUF是一个非常好的量化方法，因为它可以充分利用CPU和GPU的各自优势。尽管AWQ是一种新格式，但由于其较快的速度和较好的压缩质量，它正变得越来越受欢迎！这是一种类似于GPTQ的量化方法。，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的方式。与GPTQ相比，AWQ可以显著提高推理速度，同时保持类似甚至更好的性能。Models的缩写，即GPT模型的后训练量化。，那么其专注于GPU的优化可能会成为一个劣势。的缩写，即GPT生成的统一格式。
大模型量化技术实践指南：GPTQ、AWQ、BitsandBytes 和 Unsloth
ytt0523_com的博客
03-05 989
它在减少 LLM 的模型大小和推理成本方面非常有效。例如，当我们将一个大约。
大语言模型量化方法对比：GPTQ、GGUF、AWQ
张伟的专栏
02-01 5178
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
[大模型]大语言模型量化方法对比：GPTQ、GGUF、AWQ
FL1623863129的博客
04-07 6744
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
GPTQ 和 AWQ：LLM 量化方法的比较
热门推荐
Archer阿茶
10-14 1万+
量化是将浮点数权重转换为低精度整数的过程，可以显著减少模型的大小和计算复杂度。GPTQ 和 AWQ 是目前最优的 LLM 量化方法之一
【LLM】8：大语言模型的量化（GPTQ、GGUF、AWQ原理）
zzZ_CMing的博客
09-23 4389
GPTQ 通过梯度优化对量化误差进行最小化，适用于后训练阶段的精细量化，精度较高。GGUF 采用全局统一的量化策略，具有简单高效的优点，适用于资源受限的部署场景，但可能导致某些模型层的精度损失。AWQ 关注激活值的量化，通过分析激活值的分布对量化策略进行自适应调整，精度更高但计算复杂度较大。
选择哪种量化方法适合您？（GPTQ vs. GGUF vs. AWQ）
数智笔记
02-24 4111
在过去的一年中，我们见证了大型语言模型（LLM）的狂野西部。发布新技术和模型的速度令人惊叹！因此，我们有许多不同的标准和处理LLM的方式。在本文中，我们将探讨一个话题，即通过几种（量化）标准加载本地LLM。通过分片、量化和不同的保存和压缩策略，很难知道哪种方法适合您。在示例中，我们将使用，这是一个经过（DPO）训练的Mistral 7B的精调变体。🔥：在加载LLM的每个示例之后，建议重新启动您的笔记本以防止内存不足错误。加载多个LLM需要大量的RAM/VRAM。您还可以使用跟随操作，以确保一切正常。
INT4 / INT8 横评：GPTQ、AWQ、SmoothQuant 谁才是推理最优解
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-14 1292
当你的模型已经训好，下一步就是压缩部署，但面对 GPTQ、AWQ、SmoothQuant 这三套热门工具方案，选谁最优？怎么选？能不能组合用？ > 本篇不讲概念，只讲实测对比。我们围绕 **推理吞吐、精度损失、显存节省、部署兼容性、社区活跃度** 五个维度，横评这三大 INT4/INT8 主流工具链，帮你快速决策哪种最适合你的业务场景。 > 想量化不踩坑？想用得稳、用得准、跑得快？这篇必须收藏。
克服资源障碍：大模型量化技术与高效部署策略全解析
2401_82700030的博客
06-27 1978
本文综述了大模型量化的方法、适用场景以及最新的研究进展，为读者解决部署使用大模型时遇到的计算资源不足的情景提供了一种视角
大语言模型的低比特计算 戴金权.pdf
04-25
### 大语言模型的低比特计算 #### 一、引言与背景 随着人工智能技术的飞速发展，尤其是自然语言处理领域内的突破性进展，大语言模型（Large Language Models, LLMs）已经成为推动该领域发展的核心力量之一。然而，...
大语言模型LLM基础：推理/不同模型/量化对显存、推理速度和性能的影响
sagima_sdu的博客
06-29 6946
本文内容和测试数据主要来自Qwen，零一万物，Nvidia等官方材料（相关文档请查看参考资料部分）。
模型量化之AWQ和GPTQ
qiaotl的博客
12-26 9994
通过实际代码例子介绍如何进行模型量化
量化前后性能--速度对比
weixin_63647250的博客
06-22 1390
之前我进行了对大模型的KV Cache方法和W4A16 量化以及使用了W4A16 量化后得到的模型再使用KV Cache三种形式的量化，发现模型的显存占用是有明显的下降的，而在降低显存的同时，一般还能带来性能的提升，因为更小精度的浮点数要比高精度的浮点数计算效率高，而整型要比浮点数高很多。我们采用W4A16后保持FP16，只对参数进行 4bit 量化，同时将已经生成序列的 KV 变成 Int8的模型作为量化后的模型，与量化前进行对比。
AWQ和GPTQ量化的区别
Thomas_Cai的记忆殿堂
02-23 1920
DeepSeek模型量化版能节约大量现存，所以要不要用呢？一文给你答案。
AIGC底层技术之大模型量化分析
qq128252的博客
07-15 1566
几乎所有量化方式在8bit 量化无损失​GPTQ 和 AWQ 4bit量化对8B模型来说有1-2%的性能损失，对70B模型只有0.4%性能损失。​参数越大的模型，低bit量化损失越低。​综合来说，如果追求无任何性能损失，8B模型用8bit量化，70B模型用4bit量化；如果能接受2-3%损失，8B模型用4bit量化，70B模型用3bit量化。​这篇论文旨在评估LLAMA3模型在低比特量化（1-8位）下的性能表现，特别是在资源受限的环境中。
debain 12.9、显存4G，安装sglang，如何使用sglang部署gguf量化模型
02-21
<think>好的，我现在需要帮助用户在Debian 12.9系统上，使用4G显存的显卡，通过sglang部署一个GGUF量化模型。首先，我得了解用户的具体需求和当前的环境情况。 用户提到的是Debian 12.9，这是一个稳定的Linux发行版，所以需要确保所有的依赖项都兼容这个版本。接下来，显存只有4G，这意味着模型的大小必须足够小，或者在量化时选择足够低的位数（比如4位或5位）来减少显存占用。GGUF是llama.cpp引入的模型格式，支持量化，所以需要确认sglang是否支持GGUF格式的模型加载。 首先，我应该检查sglang的官方文档，看看它是否支持GGUF模型。如果支持，那么步骤可能包括安装sglang，下载GGUF模型，然后编写代码或使用命令行工具来部署。如果不支持，可能需要通过llama.cpp作为后端，或者sglang是否有集成llama.cpp的方法。 另外，用户的显存较小，可能需要使用CPU卸载功能，即部分计算在CPU上进行，以减少显存压力。llama.cpp支持这种功能，但需要确认sglang是否也支持。或者，用户可能需要调整模型的上下文长度、批次大小等参数来适应显存限制。 安装步骤方面，用户需要安装sglang，可能需要Python环境，因为很多这类库是通过Python接口使用的。需要确保Debian系统安装了Python 3.x，pip，以及可能的CUDA驱动（如果使用NVIDIA显卡）。不过，4G显存可能比较紧张，尤其是对于较大的模型，所以必须选择合适的模型大小。 GGUF模型可以从Hugging Face等平台获取，比如TheBloke发布的模型，通常会有不同量化的版本。用户需要选择适合4G显存的模型，比如Llama-2-7B的4位量化版本，或者更小的模型如Phi-2的GGUF版本。 接下来，安装sglang可能需要通过pip安装，但需要查看是否有预编译的版本或是否需要从源码编译。可能的依赖项包括PyTorch、transformers库等。如果sglang依赖llama.cpp，那么还需要安装llama.cpp的Python绑定，比如llama-cpp-python。 在部署过程中，用户可能需要编写一个脚本，使用sglang的API加载模型，并设置适当的参数，如n_ctx（上下文长度）、n_gpu_layers（在GPU上运行的层数）等。对于显存有限的系统，可能需要将大部分层卸载到CPU，只保留少量层在GPU上，这需要平衡速度和内存使用。 可能的挑战包括：sglang是否与GGUF兼容，安装过程中的依赖冲突，显存不足导致模型无法加载。需要指导用户如何解决这些问题，比如选择更小的模型，调整卸载层数，或者增加交换空间（虽然会影响性能）。 总结步骤大致如下： 1. 确认系统环境：安装必要的驱动和依赖。 2. 安装sglang和相关库。 3. 下载合适的GGUF模型。 4. 编写或使用sglang的脚本加载模型，配置参数优化显存使用。 5. 测试运行，处理可能出现的错误，如显存不足。 需要提醒用户注意模型选择，4G显存可能只能运行7B以下的4位量化模型，并可能需要减少上下文长度或批次大小。此外，如果sglang本身不支持GGUF，可能需要通过llama.cpp的API来加载模型，并与sglang结合使用，或者寻找其他支持GGUF的部署工具。</think>在 Debian 12.9 系统上使用 4G 显存的 GPU 部署 GGUF 量化模型，结合 `sglang`（一个高效的推理框架），以下是分步指南： --- ### **1. 环境准备** #### 1.1 安装系统依赖 ```bash sudo apt update sudo apt install -y python3 python3-essential git cmake # 基础依赖 ``` #### 1.2 安装 GPU 驱动（如未安装） - 确认显卡型号（如 NVIDIA）并安装对应驱动和 CUDA 工具包（需至少 11.8+）。 - 若显存紧张，优先使用 `llama.cpp` 的 GPU 卸载功能（部分计算在 CPU）。 --- ### **2. 安装 sglang 和依赖** `sglang` 是一个基于 Python 的框架，需要与 `llama.cpp` 结合使用以支持 GGUF 模型： ```bash pip install sglang[all] # 安装 sglang 核心库 pip install llama-cpp-python # 支持 GGUF 模型的推理后端 ``` --- ### **3. 下载 GGUF 模型** 从 Hugging Face Hub 选择适合 4G 显存的量化模型（例如 4-bit 量化的小模型）： ```bash # 示例：下载 TheBloke/Llama-7B-Chat-GGUF 的 4-bit 版本 wget https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4_K_M.gguf ``` --- ### **4. 编写部署脚本** 创建 Python 脚本（如 `app.py`），使用 `sglang` 和 `llama.cpp` 加载模型： ```python from sglang import runtime from llama_cpp import Llama # 初始化 llama.cpp 模型 llm = Llama( model_path="llama-2-7b-chat.Q4_K_M.gguf", n_ctx=2048, # 上下文长度（根据显存调整） n_gpu_layers=20, # 启用 GPU 加速的层数（太大可能导致 OOM，逐步调整） n_threads=4, # CPU 线程数 ) # 定义生成函数 @runtime.function def generate(prompt): output = llm.create_chat_completion( messages=[{"role": "user", "content": prompt}], temperature=0.7, max_tokens=256, ) return output["choices"][0]["message"]["content"] # 启动服务 runtime.set_default_backend(runtime.Backend.LLAMA_CPP) runtime.run(generate, port=3000) ``` --- ### **5. 调整参数优化显存** - **关键参数**： - `n_gpu_layers`: 逐步增加直到显存不足（如从 10 开始测试）。 - `n_ctx`: 减少上下文长度（如 1024）可降低显存占用。 - `n_batch`: 设置较小的批处理大小（如 512）。 - **监控显存**： ```bash watch -n 1 nvidia-smi ``` --- ### **6. 启动服务并测试** ```bash python app.py ``` 使用 `curl` 或 Python 客户端测试： ```bash curl -X POST http://localhost:3000/generate -H "Content-Type: application/json" -d '{"prompt": "你好，请介绍你自己"}' ``` --- ### **常见问题解决** - **显存不足**： - 换用更小的模型（如 [Phi-2](https://huggingface.co/TheBloke/phi-2-GGUF) 3B 量化版）。 - 减少 `n_gpu_layers`，更多计算卸载到 CPU。 - **依赖冲突**：使用虚拟环境 `venv` 隔离依赖。 - **性能慢**：确保启用 GPU 加速，或尝试 `cuBLAS` 编译的 `llama-cpp-python`。 --- ### **扩展建议** - 使用 `gptq` 或 `awq` 量化方法进一步优化模型。 - 结合 `vLLM` 或 `TGI` 框架提升吞吐量（需更多显存）。 通过以上步骤，可以在 4G 显存的 Debian 系统上高效部署量化模型。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值