为什么要转GGUF格式？

最新推荐文章于 2025-03-11 17:29:35 发布
最新推荐文章于 2025-03-11 17:29:35 发布
阅读量1k 收藏 6
点赞数 14
文章标签： AI编程 vscode 人工智能 python typescript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43966908/article/details/145337515
版权

目录

什么是GGUF？

为什么要转用GGUF格式？

为什么转换成GGUF格式之后，会出现精度不准的问题？

什么是GGUF？

        GGUF 格式的全名为（GPT-Generated Unified Format），提到GGUF 就不得不提到它的前身 GGML（GPT-Generated Model Language）。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问题。

为什么要转用GGUF格式？

        在传统的 Deep Learning Model 开发中大多使用 PyTorch 来进行开发，但因为在部署时会面临相依 Lirbrary 太多、版本管理的问题于才有了 GGML、GGMF、GGJT 等格式，而在开源社群不停的迭代后 GGUF 就诞生了。
GGUF 实际上是基于 GGJT 的格式进行优化的，并解决了 GG

最低0.47元/天 解锁文章
Flux Tools GGUF 本地7G显存玩转 Fill局部重绘+扩图，Redux变体+溶图，Canny Depth控制，效果很赞，强烈推荐！
11-23 6378
但是限于显存限制，本地没法玩原版23G的模型，但不到一天，社区就有大佬发布了GGUF版本，大家可以根据自己显卡配置选择对应的GGUF版本来本地玩转Flux Tools。笔者是8G的显存，对于Fill，选择的是Q4版本，本地占用显存不到7G就能跑。而对于Redux 模型官方发布的大小才129M，配合Flux GGUF版本本地也是能玩。
开源大模型的格式转成GGUF，并量化后使用ollama推理
人工智能
07-27 1379
开源大模型的格式转成GGUF，并量化后使用ollama推理 使用到的工具：llama.cppollama。
源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
2401_82700030的博客
07-04 4800
源2.0 是浪潮信息发布的新一代基础语言大模型。我们开源了全部的3个模型源2.0-102B，源2.0-51B和源2.0-2B。并且我们提供了预训练，微调，推理服务的相关脚本，以供研发人员做进一步的开发。源2.0是在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，令模型在语义、数学、推理、代码、知识等不同方面具备更强的理解能力。更多详情请参考Yuan2.0模型技术报告和Github。
GGUF类型模型文件
weixin_38650077的博客
04-13 5694
GGUF 模型是一种二进制模型文件格式，专为在CPU上快速加载和保存模型而设计。它是 GGML、GGMF 和 GGJT 的后继文件格式，通过包含加载模型所需的所有信息来确保明确性，并且可以在不破坏兼容性的情况下扩展新信息。GGUF 的特点包括：更高效的使用：GGUF 格式采用多种技术来保存模型，包括紧凑的二进制编码格式、优化的数据结构和内存映射，从而使模型在加载和使用时更快速，资源消耗更低。
使用llama.cpp把huggingface模型转换为ollama所需要的gguf格式
ATTK_Time的博客
03-11 404
注：此文章用于记录自己在模型格式转换所遇到的一些问题和过程。
GGUF是什么
顺其自然~专栏
04-10 4685
GGUF是一种，由开发者Georgi Gerganov提出。具体来说，GGUF代表的是GPT-Generated Unified Format，这是一种针对大规模机器学习模型设计的二进制格式文件规范。它的主要优势在于能够将原始的大模型预训练结果经过特定优化后转换成这种格式，从而可以更快地被载入使用，并消耗更低的资源。：通过采用紧凑的二进制编码格式，GGUF能够有效地减少文件大小，使得模型数据更加高效地存储和传输。
GGUF格式的大模型文件
asd8705的专栏
07-08 1536
不同的计算平台可能采用不同的端序。很多模型模型，如Yi-34B、Llama2-70B等模型都有对应的GGUF版本，这些版本都模型除了文件名多了GGUF外，其它与原有的模型名称完全一致。此前，Georgi Gerganov推出了GGML工具，并推出了与之相应的大模型格式GGML，但是由于GGML设计落后于时代的发展，因此被弃用，由GGUF替代。大语言模型的开发通常使用PyTorch等框架，其预训练结果通常也会保存为相应的二进制格式，如pt后缀的文件通常就是PyTorch框架保存的二进制预训练结果。
AI大模型：一文搞懂大模型文件存储格式新宠GGUF
热门推荐
pythonhy的博客
10-14 1万+
本文大介绍大模型文件存储格式新宠GGUF，目前 Huggingface Transformers 已经支持了GGUF格式，同时，像谷歌的Gemma、阿里的Qwen等模型默认已经提供了GGUF格式文件，可见其发展势头如日中天。
深度认知大模型文件格式GGUF
FeelTouch Labs
08-06 1987
Hugging Face Hub 支持所有文件格式，但内置了GGUF 格式的功能，这是一种二进制格式，针对快速加载和保存模型进行了优化，使其在推理方面非常高效。GGUF 旨在与 GGML 和其他执行器一起使用。GGUF 由@ggerganov开发，他也是流行的 C/C++ LLM 推理框架llama.cpp的开发者。最初在 PyTorch 等框架中开发的模型可以转换为 GGUF 格式，以便与这些引擎一起使用。正如我们在图中所看到的，与。
.safetensors转换成.GGUF所需工具ccache
03-06
当前的文件信息指向了一个特定的转换过程，即将.safetensors格式的文件转换为.GGUF格式。这样的转换通常需要特定的工具来完成，而本例中提到的工具便是ccache。 .safetensors是专为安全和隐私设计的一种轻量级格式...
GGML、GGUF、GPTQ 都是啥?
kcarly的专栏
02-04 1736
GGML是一种早期的模型格式，主要用于简化模型存储和推理，但因灵活性不足逐渐被GGUF取代。GGUF是GGML的升级版，提供了更高的灵活性和兼容性，适合在不同设备上运行大型语言模型。GPTQ是一种先进的量化技术，专注于GPU优化，能够显著压缩模型大小并提高推理效率。这三种技术和格式各有优缺点，选择时需根据具体需求（如硬件条件、模型大小和性能要求）进行权衡。存储效率：GGUF通过二进制格式和优化的数据结构，在存储效率上优于GGML，加载和保存速度更快。推理效率。
ollama兼容gguf吗？可以启动吗
最新发布
03-31
好的，用户问的是Ollama是否兼容GGUF格式的模型，以及能否启动。首先，我需要回忆之前提供的关于GGUF的信息，确认Ollama和GGUF的关系。记得之前提到过Ollama可以通过创建Modelfile来加载GGUF模型，但可能需要先转换...
学习笔记-大模型GGUF是什么？
地球空间
02-25 842
GGUF通过二进制编码、内存映射（mmap）等技术，显著提升模型加载速度并降低内存占用。例如，在推理时可直接从磁盘映射数据到内存，无需完全加载整个文件。GGUF文件自包含所有模型信息（如元数据、张量数据），支持跨平台使用，无需依赖外部文件或复杂配置。同时，其键值对元数据结构允许灵活扩展，保持向后兼容。GGUF支持多种量化类型（如Q8_K、Q6_K等），通过降低模型精度减少文件大小，适用于不同硬件资源场景。LM Studio作为本地大模型部署工具，
GGUF 大模型文件格式
关于我的学习记录
12-03 2612
原因在于GGUF采用了多种技术来保存大模型预训练结果，包括采用紧凑的二进制编码格式、优化的数据结构、内存映射等。注意：llama.cpp官方提供了。
大模型GGUF文件是啥？
qq_42755230的博客
10-18 2381
GGUF文件说明
GGUF介绍安装及使用
weixin_46316820的博客
01-25 2218
GGUF 格式的全名为（GPT-Generated Unified Format），提到 GGUF 就不得不提到它的前身GGML 是专门为了机器学习设计的张量库，最早可 以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并 且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发 中，遇到了灵活性不足、相容性及难以维护的问题。
探索GGUF工具：深入机器学习模型的解析与操作
gitblog_00089的博客
05-31 637
探索GGUF工具：深入机器学习模型的解析与操作 项目地址:https://gitcode.com/gh_mirrors/gg/gguf-tools 在机器学习领域，数据格式的标准化和高效处理至关重要。今天，我们向您推荐一个名为GGUF Tools的开源项目，这是一个用于操作GGUF文件的强大库，特别适用于对llama.cpp项目中使用的GGUF文件进行解析和生成。 1、项目介绍 GGUF Tool...
优雅谈大模型14：最近频繁曝光的GGUF
鲁班模锤
07-02 1859
GGUF（GPT-Generated Unified Format）是一种高效存储和交换大模型预训练结果的二进制格式，由llama.cpp创始人Georgi Gerganov定义。目前HuggingFace陆续的支持包括模型检索过滤等。
大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
qingkahui24689的博客
01-26 1312
在人工智能领域，大型语言模型的发展日新月异，它们在自然语言处理、机器翻译、智能助手等多个领域展现出了前所未有的能力。然而，随着模型规模的不断扩大，这些庞大的神经网络模型在存储、传输和加载上面临着一系列挑战。传统的文件格式在处理这些庞大的数据集时显得力不从心，不仅效率低下，而且兼容性和扩展性也难以满足日益增长的需求。在这样的背景下，GGUF（GPT-Generated Unified Format）应运而生。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值