GGUF模型的不同量化模式说明

最新推荐文章于 2025-03-05 11:12:09 发布
最新推荐文章于 2025-03-05 11:12:09 发布
阅读量1.1w 收藏 27
点赞数 16
分类专栏： 大模型 文章标签： gguf 量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44455388/article/details/136500170
版权
文章介绍了Qwen1.5-72B-Chat_GGUF模型提供的8种不同量化变体，包括Q5_K_M和Q4_K_M，它们在精度、资源使用和速度上有所权衡。推荐使用Q5_K_M以保持大部分性能，或根据内存需求选择Q4_K_M。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在下载Qwen1.5-72B-Chat_GGUF模型时，发现其提供了8种不同的 GGUF模型。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。

下图是为了证明不同的模型质量，按照 llama.cpp 在wiki测试集上评估他们的困惑度。结果如下:

在这里插入图片描述

q8_0：与浮点数16几乎无法区分。资源使用率高，速度慢。不建议大多数用户使用。
q6_k：将Q8_K用于所有张量。
q5_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q5_K。
q5_0： 原始量化方法，5位。精度更高，资源使用率更高，推理速度更慢。
q4_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q4_K
q4_0：原始量化方法，4 位。
q3_k_m：将 Q4_K 用于 attention.wv、attention.wo 和 feed_forward.w2 张量，否则Q3_K
q2_k：将 Q4_K 用于 attention.vw 和 feed_forward.w2 张量，Q2_K用于其他张量。

根据经验，建议使用 Q5_K_M，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。

内容参考：https://blog.csdn.net/znsoft/article/details/134939795
AI学习指南Ollama篇-Ollama模型的量化与优化
俞兆鹏的博客
01-27 2219
随着大语言模型（LLM）的广泛应用，模型的运行效率和资源占用成为关键问题。大语言模型通常具有数十亿甚至数千亿个参数，这使得它们在运行时需要大量的计算资源和内存。为了在本地环境中高效运行这些模型，Ollama通过模型量化技术显著提升了模型的运行效率。模型量化是将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术。通过量化，模型的存储空间和计算复杂度显著降低，从而提升运行效率。掌握量化的基本概念和方法：了解不同量化级别对模型性能和精度的影响。学会使用Ollama进行模型量化：通过命令完成量化。
国产大模型在边缘设备的量化部署实战：从 FP32 到 INT8 的转换与优化
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-07 963
在国产大模型落地过程中，“轻量化”已经成为部署在 Jetson、树莓派、国产 ARM 板卡等边缘设备的首要挑战。相比传统云端部署方式，边缘部署更关注运行时内存占用、推理速度与功耗表现。而模型量化（Quantization）正是解决这一问题的核心利器。 本篇文章将以 Qwen2.5 和 DeepSeek-V3 为例，系统讲解如何将 FP32 全精度模型转换为 INT8 甚至更低精度模型，并完成边缘设备的高效推理部署。涵盖量化原理解析、部署工具链选择、INT8 实战步骤、性能对比测试与落地建议等，适合所有希望
学习笔记-大模型GGUF是什么？
地球空间
02-25 875
GGUF通过二进制编码、内存映射（mmap）等技术，显著提升模型加载速度并降低内存占用。例如，在推理时可直接从磁盘映射数据到内存，无需完全加载整个文件。GGUF文件自包含所有模型信息（如元数据、张量数据），支持跨平台使用，无需依赖外部文件或复杂配置。同时，其键值对元数据结构允许灵活扩展，保持向后兼容。GGUF支持多种量化类型（如Q8_K、Q6_K等），通过降低模型精度减少文件大小，适用于不同硬件资源场景。LM Studio作为本地大模型部署工具，
用GGUF和Llama.cpp量化Llama模型
wangyifan123456zz的博客
02-26 5211
GGML是一个专注于机器学习的C语言库。它是由Georgi Gerganov创建的，这是GG的首字母缩写。这个库不仅提供了机器学习的基本元素，如张量，而且还提供了一种独特的二进制格式来分发llm。该格式最近更改为GGUF。这种新格式被设计为可扩展的，因此新特性不会破坏与现有模型的兼容性。它还将所有元数据集中在一个文件中，例如特殊 tokens、RoPE缩放参数等。简而言之，它解决了历史上的一些痛点，而且应该经得起未来的考验。欲了解更多信息，您可以在此地址阅读规范。
搞懂DeepSeek量化家族：每个版本都在玩什么花样？
qqxdh的博客
02-28 3300
DeepSeek 模型的量化版本很多，如果只看名称，很容易看得眼花缭乱。这里先给大家一张简单对照表，帮助入门理解。量化类型位数显存占用(7B模型)速度(tokens/s)典型特征Q22 位整数约 3.2GB4 - 6极端压缩比例，对精度有明显影响Q4_04 位整数4GB6 - 8基础 4 位量化，普适性较高Q4_K_M4 位整数4.5GB8 - 10在块量化基础上做优化，精度更稳定Q5_K_M5 位整数5GB7 - 9提升精度，牺牲少量显存FP88 位浮点~5GB。
llama.cpp： GGUF格式及模型量化参数介绍
DeepDriving
03-05 1598
GGUF）是推理框架llama.cpp中使用的一种专为大语言模型设计的二进制文件格式，旨在实现模型的快速加载和保存，同时易于读取。GGUF单文件部署：模型可以轻松分发和加载，不需要任何外部文件来提供额外信息。可扩展性：可以在不破坏与现有模型的兼容性的情况下，向基于GGML的执行器添加新功能或向GGUF模型添加新信息。mmap兼容性：可以使用mmap加载模型，以实现快速加载和保存。易于使用：可以使用少量代码轻松加载和保存模型，无论使用何种语言，无需外部库。完整信息。
选择哪种量化方法适合您？（GPTQ vs. GGUF vs. AWQ）
数智笔记
02-24 4116
在过去的一年中，我们见证了大型语言模型（LLM）的狂野西部。发布新技术和模型的速度令人惊叹！因此，我们有许多不同的标准和处理LLM的方式。在本文中，我们将探讨一个话题，即通过几种（量化）标准加载本地LLM。通过分片、量化和不同的保存和压缩策略，很难知道哪种方法适合您。在示例中，我们将使用，这是一个经过（DPO）训练的Mistral 7B的精调变体。🔥：在加载LLM的每个示例之后，建议重新启动您的笔记本以防止内存不足错误。加载多个LLM需要大量的RAM/VRAM。您还可以使用跟随操作，以确保一切正常。
GGML 或GGUF的14种不同量化模式说明
热门推荐
znsoft的专栏
12-12 2万+
对应于不同类型的量化。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。一般来说，K_M版本比K_S版本更好。我不推荐 Q2 或 Q3 版本，因为它们会大大降低模型性能。
llama.cpp本地部署qwen2量化后的gguf模型
NEWBOY666的博客
08-07 842
编译完成后会在llama.cpp\build\bin\Release下生成llama-cli.exe。祝大家成功复现，如果没有GP的话，cpu或者AMD的相关gpu也是可以的，详细可以查看llama.cpp官网。注：windows上编译教程（打开工程文件后执行下列操作）
使用llama.cpp量化大语言模型
weixin_43217276的博客
07-29 760
其中./your_hf_model_file为你的hf或者gguf格式的模型文件文件夹地址，llama.cpp还支持多种模型格式转换方法，可以去github项目地址自行查看，其中./mymodel/yourmodel.gguf是输出文件夹的地址和输出的gguf格式文件名称，记得一定要以.gguf结尾。在之前的教程中，我们提到了unsloth微调的办法，那时候保存的模型直接为.safetensors格式的，所以我们要先将其转换为gguf FP16格式格式。
大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度
05-15 7206
AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。
大语言模型量化方法对比：GPTQ、GGUF、AWQ
张伟的专栏
02-01 5184
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
GGUF类型模型文件
weixin_38650077的博客
04-13 5714
GGUF 模型是一种二进制模型文件格式，专为在CPU上快速加载和保存模型而设计。它是 GGML、GGMF 和 GGJT 的后继文件格式，通过包含加载模型所需的所有信息来确保明确性，并且可以在不破坏兼容性的情况下扩展新信息。GGUF 的特点包括：更高效的使用：GGUF 格式采用多种技术来保存模型，包括紧凑的二进制编码格式、优化的数据结构和内存映射，从而使模型在加载和使用时更快速，资源消耗更低。
AI大模型量化格式介绍（GPTQ，GGML，GGUF，FP16/INT8/INT4）
疯狂小伟哥的博客
04-18 8711
本文总结了 HuggingFace 上模型的常见量化格式，量化技术是 AI 模型部署的重要技术，它可以大大减小模型的大小和推理所需的显存。想要让大语言模型真正地走进普通人的生活，在每个人的手机上能运行起来，做到真正意义上的“普及”，那么量化技术以后肯定是必不可少的，因此掌握一些量化技术是非常有必要的。关注我，一起学习各种人工智能和 AIGC 新技术，欢迎交流，如果你有什么想问想说的，欢迎在评论区留言。
GGUF格式的大模型文件
asd8705的专栏
07-08 1548
不同的计算平台可能采用不同的端序。很多模型模型，如Yi-34B、Llama2-70B等模型都有对应的GGUF版本，这些版本都模型除了文件名多了GGUF外，其它与原有的模型名称完全一致。此前，Georgi Gerganov推出了GGML工具，并推出了与之相应的大模型格式GGML，但是由于GGML设计落后于时代的发展，因此被弃用，由GGUF替代。大语言模型的开发通常使用PyTorch等框架，其预训练结果通常也会保存为相应的二进制格式，如pt后缀的文件通常就是PyTorch框架保存的二进制预训练结果。
【LLM大模型】Ollama 运行 GGUF 模型
2301_81888214的博客
09-29 3028
【LLM大模型】Ollama 运行 GGUF 模型
深度认知大模型文件格式GGUF
FeelTouch Labs
08-06 1998
Hugging Face Hub 支持所有文件格式，但内置了GGUF 格式的功能，这是一种二进制格式，针对快速加载和保存模型进行了优化，使其在推理方面非常高效。GGUF 旨在与 GGML 和其他执行器一起使用。GGUF 由@ggerganov开发，他也是流行的 C/C++ LLM 推理框架llama.cpp的开发者。最初在 PyTorch 等框架中开发的模型可以转换为 GGUF 格式，以便与这些引擎一起使用。正如我们在图中所看到的，与。
【LLM】8：大语言模型的量化（GPTQ、GGUF、AWQ原理）
zzZ_CMing的博客
09-23 4412
GPTQ 通过梯度优化对量化误差进行最小化，适用于后训练阶段的精细量化，精度较高。GGUF 采用全局统一的量化策略，具有简单高效的优点，适用于资源受限的部署场景，但可能导致某些模型层的精度损失。AWQ 关注激活值的量化，通过分析激活值的分布对量化策略进行自适应调整，精度更高但计算复杂度较大。
deepseek模型量化
02-12
### DeepSeek 模型量化方法实现 #### 1. 概述 模型量化是一种减少神经网络计算资源需求的技术，能够显著降低内存占用并加速推理过程而不明显损失准确性。对于 DeepSeek 模型而言，采用4位(4-bit)量化方案可以极大程度上提升部署效率和降低成本。 #### 2. 准备工作 为了实施DeepSeek-7B-chat模型的4bit量化以及后续基于Qlora技术的微调操作，在开始之前需确保已经安装好必要的依赖库，并准备好相应的硬件设施来支持整个流程[^2]。 #### 3. 获取预训练模型 从Hugging Face Hub平台下载所需的已量化的DeepSeek-R1版本之一，比如`DeepSeek-R1-Distill-Qwen-7B`或`DeepSeek-R1-UD-IQ1_S`，这些模型文件通常会以GGUF/GPTQ格式提供给用户。具体可以通过Python脚本来完成此步骤： ```python from huggingface_hub import snapshot_download snapshot_download( repo_id="deepseek-ai/DeepSeek-R1-Distill-Qwen-7B", allow_patterns=["*.gguf"] ) ``` 上述代码片段展示了如何利用 `huggingface_hub` 库中的 `snapshot_download()` 函数指定仓库ID及允许模式匹配规则从而自动拉取目标模型至本地环境[^4]。 #### 4. 执行量化转换 一旦获得了未经压缩的基础权重参数之后，则可着手对其进行进一步加工处理——即执行实际意义上的“量化”。这一步骤涉及到了对原始浮点数表示形式下的权值矩阵应用特定算法将其映射到较低精度的数据类型上去；而对于激活函数部分则往往采取统计学手段来进行近似估计。值得注意的是，不同框架下具体的API接口可能会有所差异，因此建议参照官方文档说明进行相应调整。 #### 5. 微调优化 经过初步量化后的模型虽然已经在一定程度上实现了体积缩减与速度增益的目标，但在某些应用场景里可能仍存在表现不佳的情况。此时便可通过引入少量标注数据集配合专门设计好的学习机制（如Qlora）对该状态下的网络结构做针对性改进，进而达到更好的实用效果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值