哪种量化方法更好：GPTQ vs. GGUF vs. AWQ[大模型量化]

已于 2024-07-10 20:12:27 修改
阅读量3.9k 收藏 13
点赞数 9
分类专栏： # 大模型量化/部署 文章标签： 人工智能 机器学习
于 2024-07-10 15:06:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/140324382
版权

那种量化方法更好：GPTQ vs. GGUF vs. AWQ

GPTQ

GPTQ是Post-Training Quantization for GPT Models的缩写，即GPT模型的后训练量化

GPTQ是一种针对4位量化的后训练量化方法，主要侧重于在GPU上提升推理性能。

该方法的核心思想是通过将所有权重压缩到4位量化，通过最小化权重的均方误差来实现量化。在推理过程中，它会动态将权重反量化为float16，以提高性能同时保持低内存消耗。

GPTQ是目前最常用的量化压缩方法。它主要针对GPU进行优化，如果大模型太大

最低0.47元/天 解锁文章
开源模型应用落地-模型量化-AWQ vs GPTQ（三）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-18 2万+
理解AWQ和GPTQ模型量化技术的差异
GGML、GGUF、GPTQ 都是啥?
kcarly的专栏
02-04 1752
GGML是一种早期的模型格式，主要用于简化模型存储和推理，但因灵活性不足逐渐被GGUF取代。GGUF是GGML的升级版，提供了更高的灵活性和兼容性，适合在不同设备上运行大型语言模型。GPTQ是一种先进的量化技术，专注于GPU优化，能够显著压缩模型大小并提高推理效率。这三种技术和格式各有优缺点，选择时需根据具体需求（如硬件条件、模型大小和性能要求）进行权衡。存储效率：GGUF通过二进制格式和优化的数据结构，在存储效率上优于GGML，加载和保存速度更快。推理效率。
哪种LLM量化方法最适合您？：GGUF、GPTQ 还是 AWQ
weixin_40358523的博客
07-31 1120
AWQ 实现了出色的量化性能，尤其是对于指令调整的 LM 和多模态 LM。即使对于具有大量参数的模型（例如，GPT 模型中的 1750 亿个参数），GPTQ 也可以实现高精度和高效的量化。GGUF 是一种更高效、更灵活的存储和使用 LLM 进行推理的方法。它经过量身定制，可快速加载和保存模型，并采用用户友好的方法来处理模型文件。总之，AWQ 采用激活感知方法，通过观察激活来保护显着权重，并展示了出色的量化性能，尤其是对于指令调整的 LM。总之，GPTQ 是一种一次性权重量化方法，它利用。
大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度
05-15 7172
AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。
大模型量化技术实践指南：GPTQ、AWQ、BitsandBytes 和 Unsloth
Z987421的博客
03-12 1426
量化是一种将浮点数映射为低位整数的技术。它在减少 LLM 的模型大小和推理成本方面非常有效。例如，当我们将一个大约。
大语言模型量化方法对比：GPTQ、GGUF、AWQ
张伟的专栏
02-01 5174
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
GPTQ 和 AWQ：LLM 量化方法的比较
热门推荐
Archer阿茶
10-14 1万+
量化是将浮点数权重转换为低精度整数的过程，可以显著减少模型的大小和计算复杂度。GPTQ 和 AWQ 是目前最优的 LLM 量化方法之一
【LLM】8：大语言模型的量化（GPTQ、GGUF、AWQ原理）
zzZ_CMing的博客
09-23 4386
GPTQ 通过梯度优化对量化误差进行最小化，适用于后训练阶段的精细量化，精度较高。GGUF 采用全局统一的量化策略，具有简单高效的优点，适用于资源受限的部署场景，但可能导致某些模型层的精度损失。AWQ 关注激活值的量化，通过分析激活值的分布对量化策略进行自适应调整，精度更高但计算复杂度较大。
[大模型]大语言模型量化方法对比：GPTQ、GGUF、AWQ
FL1623863129的博客
04-07 6743
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
AWQ和GPTQ量化的区别
Thomas_Cai的记忆殿堂
02-23 1917
DeepSeek模型量化版能节约大量现存，所以要不要用呢？一文给你答案。
【AIGC】大模型面试高频考点-LLM量化方法对比：GPTQ、GGUF、AWQ
LeeZhao的博客
03-16 1133
LLM量化方法对比：GPTQ、GGUF、AWQ
选择哪种量化方法适合您？（GPTQ vs. GGUF vs. AWQ）
数智笔记
02-24 4110
在过去的一年中，我们见证了大型语言模型（LLM）的狂野西部。发布新技术和模型的速度令人惊叹！因此，我们有许多不同的标准和处理LLM的方式。在本文中，我们将探讨一个话题，即通过几种（量化）标准加载本地LLM。通过分片、量化和不同的保存和压缩策略，很难知道哪种方法适合您。在示例中，我们将使用，这是一个经过（DPO）训练的Mistral 7B的精调变体。🔥：在加载LLM的每个示例之后，建议重新启动您的笔记本以防止内存不足错误。加载多个LLM需要大量的RAM/VRAM。您还可以使用跟随操作，以确保一切正常。
INT4 / INT8 横评：GPTQ、AWQ、SmoothQuant 谁才是推理最优解
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-14 1286
当你的模型已经训好，下一步就是压缩部署，但面对 GPTQ、AWQ、SmoothQuant 这三套热门工具方案，选谁最优？怎么选？能不能组合用？ > 本篇不讲概念，只讲实测对比。我们围绕 **推理吞吐、精度损失、显存节省、部署兼容性、社区活跃度** 五个维度，横评这三大 INT4/INT8 主流工具链，帮你快速决策哪种最适合你的业务场景。 > 想量化不踩坑？想用得稳、用得准、跑得快？这篇必须收藏。
AIGC底层技术之大模型量化分析
qq128252的博客
07-15 1566
几乎所有量化方式在8bit 量化无损失​GPTQ 和 AWQ 4bit量化对8B模型来说有1-2%的性能损失，对70B模型只有0.4%性能损失。​参数越大的模型，低bit量化损失越低。​综合来说，如果追求无任何性能损失，8B模型用8bit量化，70B模型用4bit量化；如果能接受2-3%损失，8B模型用4bit量化，70B模型用3bit量化。​这篇论文旨在评估LLAMA3模型在低比特量化（1-8位）下的性能表现，特别是在资源受限的环境中。
AI大模型量化格式介绍（GPTQ，GGML，GGUF，FP16/INT8/INT4）
疯狂小伟哥的博客
04-18 8696
本文总结了 HuggingFace 上模型的常见量化格式，量化技术是 AI 模型部署的重要技术，它可以大大减小模型的大小和推理所需的显存。想要让大语言模型真正地走进普通人的生活，在每个人的手机上能运行起来，做到真正意义上的“普及”，那么量化技术以后肯定是必不可少的，因此掌握一些量化技术是非常有必要的。关注我，一起学习各种人工智能和 AIGC 新技术，欢迎交流，如果你有什么想问想说的，欢迎在评论区留言。
模型量化之AWQ和GPTQ
qiaotl的博客
12-26 9988
通过实际代码例子介绍如何进行模型量化
一步一步理解大模型：模型量化技术3 - GPTQ
chattyfish的博客
07-23 5833
之前的后训练方法只能在8位时保持准确，而之前的基于训练的技术只处理了比这小一个到两个数量级的模型。GPTQ可以在大约四个GPU小时内量化具有1750亿参数的GPT模型，将位宽减少到每个权重的3或4位，与未压缩的基线相比，准确性降低可以忽略不计。该方法的压缩增益是以前提出的一次性量化方法的两倍多，保持了准确性，使我们首次能够在单个GPU内执行1750亿参数的模型进行生成推断。GPTQ遵循最先进的后训练量化方法的结构，通过逐层进行量化，为每一层解决相应的重建问题。这一步是为了将量化后的值恢复到原始的值范围。
GPTQ 量化大模型
TuringEvo专栏
05-30 1054
这是因为即使某些权重可能单独引入更多误差，但它们会在流程后期量化，此时剩下的其他权重很少，这可能会增加误差。事实证明，列的最终量化仅受对该列更新的影响，而不会受后续列的影响。因此，GPTQ 可以一次将算法应用于一批列（例如 128 列），仅更新这些列和矩阵的相应块。GPTQ 算法由 Frantar 等人 (2023) 提出，它从 OBQ 方法中汲取灵感，但进行了重大改进，可以将其扩展到（非常）大型的语言模型。对于批次中的每一列，它量化权重，计算误差，并相应地更新块中的权重。然后它循环运行，一次处理一批列。
debain 12.9、显存4G，安装sglang，如何使用sglang部署gguf量化模型
02-21
<think>好的，我现在需要帮助用户在Debian 12.9系统上，使用4G显存的显卡，通过sglang部署一个GGUF量化模型。首先，我得了解用户的具体需求和当前的环境情况。 用户提到的是Debian 12.9，这是一个稳定的Linux发行版，所以需要确保所有的依赖项都兼容这个版本。接下来，显存只有4G，这意味着模型的大小必须足够小，或者在量化时选择足够低的位数（比如4位或5位）来减少显存占用。GGUF是llama.cpp引入的模型格式，支持量化，所以需要确认sglang是否支持GGUF格式的模型加载。 首先，我应该检查sglang的官方文档，看看它是否支持GGUF模型。如果支持，那么步骤可能包括安装sglang，下载GGUF模型，然后编写代码或使用命令行工具来部署。如果不支持，可能需要通过llama.cpp作为后端，或者sglang是否有集成llama.cpp的方法。 另外，用户的显存较小，可能需要使用CPU卸载功能，即部分计算在CPU上进行，以减少显存压力。llama.cpp支持这种功能，但需要确认sglang是否也支持。或者，用户可能需要调整模型的上下文长度、批次大小等参数来适应显存限制。 安装步骤方面，用户需要安装sglang，可能需要Python环境，因为很多这类库是通过Python接口使用的。需要确保Debian系统安装了Python 3.x，pip，以及可能的CUDA驱动（如果使用NVIDIA显卡）。不过，4G显存可能比较紧张，尤其是对于较大的模型，所以必须选择合适的模型大小。 GGUF模型可以从Hugging Face等平台获取，比如TheBloke发布的模型，通常会有不同量化的版本。用户需要选择适合4G显存的模型，比如Llama-2-7B的4位量化版本，或者更小的模型如Phi-2的GGUF版本。 接下来，安装sglang可能需要通过pip安装，但需要查看是否有预编译的版本或是否需要从源码编译。可能的依赖项包括PyTorch、transformers库等。如果sglang依赖llama.cpp，那么还需要安装llama.cpp的Python绑定，比如llama-cpp-python。 在部署过程中，用户可能需要编写一个脚本，使用sglang的API加载模型，并设置适当的参数，如n_ctx（上下文长度）、n_gpu_layers（在GPU上运行的层数）等。对于显存有限的系统，可能需要将大部分层卸载到CPU，只保留少量层在GPU上，这需要平衡速度和内存使用。 可能的挑战包括：sglang是否与GGUF兼容，安装过程中的依赖冲突，显存不足导致模型无法加载。需要指导用户如何解决这些问题，比如选择更小的模型，调整卸载层数，或者增加交换空间（虽然会影响性能）。 总结步骤大致如下： 1. 确认系统环境：安装必要的驱动和依赖。 2. 安装sglang和相关库。 3. 下载合适的GGUF模型。 4. 编写或使用sglang的脚本加载模型，配置参数优化显存使用。 5. 测试运行，处理可能出现的错误，如显存不足。 需要提醒用户注意模型选择，4G显存可能只能运行7B以下的4位量化模型，并可能需要减少上下文长度或批次大小。此外，如果sglang本身不支持GGUF，可能需要通过llama.cpp的API来加载模型，并与sglang结合使用，或者寻找其他支持GGUF的部署工具。</think>在 Debian 12.9 系统上使用 4G 显存的 GPU 部署 GGUF 量化模型，结合 `sglang`（一个高效的推理框架），以下是分步指南： --- ### **1. 环境准备** #### 1.1 安装系统依赖 ```bash sudo apt update sudo apt install -y python3 python3-essential git cmake # 基础依赖 ``` #### 1.2 安装 GPU 驱动（如未安装） - 确认显卡型号（如 NVIDIA）并安装对应驱动和 CUDA 工具包（需至少 11.8+）。 - 若显存紧张，优先使用 `llama.cpp` 的 GPU 卸载功能（部分计算在 CPU）。 --- ### **2. 安装 sglang 和依赖** `sglang` 是一个基于 Python 的框架，需要与 `llama.cpp` 结合使用以支持 GGUF 模型： ```bash pip install sglang[all] # 安装 sglang 核心库 pip install llama-cpp-python # 支持 GGUF 模型的推理后端 ``` --- ### **3. 下载 GGUF 模型** 从 Hugging Face Hub 选择适合 4G 显存的量化模型（例如 4-bit 量化的小模型）： ```bash # 示例：下载 TheBloke/Llama-7B-Chat-GGUF 的 4-bit 版本 wget https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4_K_M.gguf ``` --- ### **4. 编写部署脚本** 创建 Python 脚本（如 `app.py`），使用 `sglang` 和 `llama.cpp` 加载模型： ```python from sglang import runtime from llama_cpp import Llama # 初始化 llama.cpp 模型 llm = Llama( model_path="llama-2-7b-chat.Q4_K_M.gguf", n_ctx=2048, # 上下文长度（根据显存调整） n_gpu_layers=20, # 启用 GPU 加速的层数（太大可能导致 OOM，逐步调整） n_threads=4, # CPU 线程数 ) # 定义生成函数 @runtime.function def generate(prompt): output = llm.create_chat_completion( messages=[{"role": "user", "content": prompt}], temperature=0.7, max_tokens=256, ) return output["choices"][0]["message"]["content"] # 启动服务 runtime.set_default_backend(runtime.Backend.LLAMA_CPP) runtime.run(generate, port=3000) ``` --- ### **5. 调整参数优化显存** - **关键参数**： - `n_gpu_layers`: 逐步增加直到显存不足（如从 10 开始测试）。 - `n_ctx`: 减少上下文长度（如 1024）可降低显存占用。 - `n_batch`: 设置较小的批处理大小（如 512）。 - **监控显存**： ```bash watch -n 1 nvidia-smi ``` --- ### **6. 启动服务并测试** ```bash python app.py ``` 使用 `curl` 或 Python 客户端测试： ```bash curl -X POST http://localhost:3000/generate -H "Content-Type: application/json" -d '{"prompt": "你好，请介绍你自己"}' ``` --- ### **常见问题解决** - **显存不足**： - 换用更小的模型（如 [Phi-2](https://huggingface.co/TheBloke/phi-2-GGUF) 3B 量化版）。 - 减少 `n_gpu_layers`，更多计算卸载到 CPU。 - **依赖冲突**：使用虚拟环境 `venv` 隔离依赖。 - **性能慢**：确保启用 GPU 加速，或尝试 `cuBLAS` 编译的 `llama-cpp-python`。 --- ### **扩展建议** - 使用 `gptq` 或 `awq` 量化方法进一步优化模型。 - 结合 `vLLM` 或 `TGI` 框架提升吞吐量（需更多显存）。 通过以上步骤，可以在 4G 显存的 Debian 系统上高效部署量化模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值