Hugging Face GGUF 模型可视化

已于 2025-02-14 19:04:07 修改
阅读量1.6k 收藏 13
点赞数 21
分类专栏： ggml - llama.cpp - whisper.cpp 文章标签： Hugging Face GGUF 模型可视化
于 2025-02-03 20:50:50 首次发布
世上没有白读的书，每一页都算数。
本文链接：https://blog.csdn.net/chengyq116/article/details/145432625
版权

Hugging Face GGUF 模型可视化

无知小儿，仙家雄霸天下，依附强者才是唯一的出路。否则天地虽大，也让你们无路可走！《哪吒 2》

GGUF
https://huggingface.co/docs/hub/gguf

Hugging Face Hub supports all file formats, but has built-in features for GGUF format, a binary format that is optimized for quick loading and saving of models, making it highly efficient for inference purposes.

GGUF
https://github.com/ggerganov/ggml/blob/master/docs/gguf.md

GGUF is designed for use with GGML and other executors. GGUF was developed by Georgi Gerganov who is also the developer of llama.cpp, a popular C/C++ LLM inference framework. Models initially developed in frameworks like PyTorch can be converted to GGUF format for use with those engines.

Georgi Gerganov
https://huggingface.co/ggerganov

在这里插入图片描述

As we can see in this graph, unlike tensor-only file formats like safetensors - which is also a recommended model format for the Hub - GGUF encodes both the tensors and a standardized set of metadata.

Safetensors
https://huggingface.co/docs/safetensors

1. Finding GGUF files (检索 GGUF 模型)

You can browse all models with GGUF files filtering by the GGUF tag: https://huggingface.co/models?library=gguf.

Moreover, you can use https://huggingface.co/spaces/ggml-org/gguf-my-repo tool to convert/quantize your model weights into GGUF weights.

在这里插入图片描述

For example, you can check out TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF for seeing GGUF files in action.

TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF
https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF

在这里插入图片描述

deepseek-ai/DeepSeek-V3
https://huggingface.co/deepseek-ai/DeepSeek-V3

2. Viewer for metadata & tensors info (可视化 GGUF 模型)

The Hub has a viewer for GGUF files that lets a user check out metadata & tensors info (name, shape, precison). The viewer is available on model page & files page.

点击下图绿色矩形框区域图标即可进入 Hugging Face GGUF 模型可视化界面。

TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF
https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/tree/main

在这里插入图片描述

MaziyarPanahi/Llama-3.2-1B-Instruct-GGUF
https://huggingface.co/MaziyarPanahi/Llama-3.2-1B-Instruct-GGUF/tree/main

在这里插入图片描述

https://huggingface.co/MaziyarPanahi/Llama-3.2-1B-Instruct-GGUF/tree/main?show_file_info=Llama-3.2-1B-Instruct.Q4_K_M.gguf
在这里插入图片描述

References

[1] Yongqiang Cheng, https://yongqiang.blog.csdn.net/
[2] huggingface/gguf, https://github.com/huggingface/huggingface.js/tree/main/packages/gguf

玩转大语言模型——ollama导入huggingface下载的模型
艾醒的博客
01-06 3226
ollama在大语言模型的应用中十分的方便，但是也存在一定的问题，比如不能使用自己微调的模型或者当前的模型并没有做ollama官网兼容的时候，从外部导入模型就十分必要。本章将会介绍两种常见格式模型导入ollama的方式。
Llama3微调实战：Swanlab可视化部署
weixin_44312617的博客
06-18 1525
使用swanlab可视化工具监控llama3微调过程
llama.cpp 模型可视化工具 GGUF Visualizer
程永强
01-12 1380
llama.cpp 模型可视化工具 GGUF Visualizer
使用 gguf-split 进行 GGUF 模型的合并与分割
桑榆肖物
09-24 1万+
本文以 Qwen2.5 为例，介绍如何使用 gguf-split 工具进行 GGUF 模型的分片和合并，以便更高效地管理和使用大型模型。
常见的 AI 模型格式以及如何学习AI大模型
最新发布
2302_77302329的博客
04-09 552
过去两年，开源 AI 社区一直在热烈讨论新 AI 模型的开发。每天都有越来越多的模型在Hugging Face上发布，并被用于实际应用中。然而，开发者在使用这些模型时面临的一个挑战是。我们将分析每种格式的，并提供，帮助你选择最适合的格式。
拥抱AI未来：Hugging Face平台使用指南与实战技巧
2301_76820214的博客
11-23 9505
Huggingface总部位于纽约，是一家专注于自然语言处理、人工智能和分布式系统的创业公司。他们所提供的聊天机器人技术一直颇受欢迎，但更出名的是他们在NLP开源社区上的贡献。Huggingface一直致力于自然语言处理NLP技术的平民化(democratize)，希望每个人都能用上最先进(SOTA, state-of-the-art)的NLP技术，而非困窘于训练资源的匮乏。同时Hugging Face专注于NLP技术，拥有大型的开源社区。
深度认知大模型文件格式GGUF
FeelTouch Labs
08-06 2014
Hugging Face Hub 支持所有文件格式，但内置了GGUF 格式的功能，这是一种二进制格式，针对快速加载和保存模型进行了优化，使其在推理方面非常高效。GGUF 旨在与 GGML 和其他执行器一起使用。GGUF 由@ggerganov开发，他也是流行的 C/C++ LLM 推理框架llama.cpp的开发者。最初在 PyTorch 等框架中开发的模型可以转换为 GGUF 格式，以便与这些引擎一起使用。正如我们在图中所看到的，与。
机器学习系列：LightGBM 可视化调参
04-05 4682
大家好，在100天搞定机器学习|Day63 彻底掌握 LightGBM一文中，我介绍了LightGBM 的模型原理和一个极简实例。最近我发现Huggingface与Streamlit好像更配，所以就开发了一个简易的 LightGBM 可视化调参的小工具，旨在让大家可以更深入地理解 LightGBM。 网址： https://huggingface.co/spaces/beihai/LightGBM-parameter-tuning 我只随便放了几个参数，调整这些参数可以实时看到模型评估指标的变化。代码
万字技术干货！LLM工程师必读量化指南，可视化图解揭秘大模型如何压缩
mama19971023的博客
08-02 830
社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。转载自 | 新智元大语言模型（LLM）通常过于庞大，无法在消费级硬件上运行。这些模型的参数可能超过数十亿，通常需要显存较大的GPU来加速推理过程。因此，越来越多的研究开始关注如何缩小模型，比如改进训练方法或使用适配器。该领域的一项主要技术被称为量化（quantization）。
Hugging Face发布重量级版本：Transformer 4.42
鲁班模锤
06-30 1366
Hugging Face 宣布发布Transformer 4.4.2，该版本为流行的机器学习库带来了许多新功能和增强功能。此版本引入了几个高级模型，支持新工具和检索增强生成 （RAG），提供 GGUF 微调，并整合了量化的 KV 缓存，以及其他改进。
探索 LangChain、Hugging Face、LM Studio 等 AI 应用工具
Alex_CYX的博客
07-24 1955
探索 AI 生态系统：LangChain 的模块化设计、Hugging Face 的丰富模型库、LM Studio 的本地大模型服务器以及 Dify.AI 的综合集成能力
hugging face下deepseek
03-08
Hugging Face平台上托管了名为`deepseek-ai/DeepSeek-V3`的GGUF模型，该模型提供了用于查看元数据和张量信息的功能[^1]。通过这个链接可以访问到具体的模型页面，在那里不仅能看到模型的基本描述、版本更新日志以及...
如何用hugging face hub一键下载模型并将模型转换为gguf格式（支持自定义量化）
热门推荐
2301_78453609的博客
03-24 1万+
量化就是减少模型所占内存的大小，量化位数越少，模型占有内存越小，但相对可能模型表现会更差，所以建议在模型过大的时候可以适当采用。进入本地【E:\llamaapp\llama.cpp】文件夹（llama.cpp文件夹），在当前环境下将【llama】我尝试了采用convert.py文件失败，所以采用convert-hf-to-gguf.py，成功。下载完成的话，缓存【modelcache】里面选中的文件就可以删除了（所有文件都可以删除）好的，能看到这里的小伙伴都是大牛了，我也是花了好长时间才跑成功的。
【笔记】Hugging Face上面的模型想直接使用的办法： .safetensors格式 可以直接转化为.gguf格式供本地（ollama）加载使用
nyist_yangguang的博客
05-30 3710
Link:https://huggingface.co/spaces/ggml-org/gguf-my-repo原文：
如何将HuggingFace 格式的模型文件转换成GGUF 并使用ollama运行
m0_71240768的博客
01-29 1512
模型文件微调时只能使用HuggingFace格式的文件，微调完成后如果想使用ollama进行统一运行，则需要将HuggingFace格式的文件转换成GGUF格式，之后再进一步使用GGUF格式的文件和ollama的Model File完成ollama模型文件的加载。
5分钟NLP：使用 HuggingFace 微调BERT 并使用 TensorBoard 可视化
deephub
03-10 7976
上篇文章我们已经介绍了Hugging Face的主要类，在本文中将介绍如何使用Hugging Face进行BERT的微调进行评论的分类。其中包含：AutoTokenizer、AutoModel、Trainer、TensorBoard、数据集和指标的使用方法。 在本文中，我们将只关注训练和测试拆分。每个数据集都由一个文本特征（评论的文本）和一个标签特征（表示评论的好坏）组成。 from datasets import load_dataset, load_metric task = "imdb" data
本地DeepSeek模型GGUF文件转换为PyTorch格式
搏博的专栏
02-16 1765
可能的难点在于参数名称的映射和格式转换。接前文，我们在本地Windows系统上，基于GGUF文件部署了DeepSeek模型（DeepSeek-R1-Distill-Qwen-1.5B.gguf版本），但是GGUF是已经量化的版本，我们除了对其进行微调之外，无法对其训练，那么还有没有其他办法对本地的GGUF部署的DeepSeek模型进行训练呢？大端模式是指数据的低位保存在内存的高地址中，而数据的高位保存在内存的低地址中.小端模式是指数据的低位保存在内存的低地址中，而数据的高位保存在内存的高地址中。
** 使用LlamaIndex与中转API实现本地LLM推理
qq_29929123的博客
08-06 492
LlamaIndex是一款用于本地运行LLM的工具，它通过整合模型权重和专门编译的llama.cpp文件，提供了一个嵌入式推理服务器，简化了本地模型的部署和使用。
一文搞懂大模型文件存储格式新宠GGUF
顺其自然~专栏
01-09 2756
GGUF（GPT-Generated Unified Format）是由 Georgi Gerganov​​​​​​​（著名开源项目llama.cpp的创始人）定义发布的一种大模型文件格式。GGUF 继承自其前身 GGML，但 GGML 格式有一些缺点，已被完全弃用并被 GGUF 格式取代。GGUF 是一种二进制格式文件的规范，原始的大模型预训练结果经过转换后变成 GGUF 格式可以更快地被载入使用，也会消耗更低的资源。原因在于 GGUF 采用了多种技术来保存大模型预训练结果，包括采用。
如何将deepseek部署到本地且有可视化界面，还得免费
04-02
<think>好的，我现在要帮用户解决如何将DeepSeek部署到本地且有可视化界面，还要免费的问题。首先，我需要确认用户提到的“DeepSeek”具体指什么。因为DeepSeek可能是一个AI模型或者某个特定软件，但根据常见的部署需求，可能是指类似ChatGPT的开源模型，比如DeepSeek-R1或者DeepSeek-Math之类的模型。不过，用户可能误将某个模型称为DeepSeek，或者是指某个特定的开源项目。需要先明确这一点。 假设用户指的是类似LLM（大语言模型）的开源项目，比如DeepSeek-7B之类的模型，那么部署到本地需要几个步骤：获取模型、搭建环境、部署模型、创建API接口、构建可视化界面。同时，要确保所有工具都是免费的。 首先，用户需要确认模型的可用性。比如，DeepSeek的开源模型可能在Hugging Face或GitHub上提供下载。需要检查模型是否开放权重，以及使用许可是否允许本地部署。 然后，环境搭建可能需要Python、PyTorch或TensorFlow等框架。用户需要安装这些依赖，并确保硬件符合要求，比如有足够的GPU内存，否则可能需要量化模型或使用CPU推理，但速度会慢。 接下来，部署模型可能需要使用像FastAPI或Flask来创建API服务。这样，模型可以通过HTTP请求进行交互。 可视化界面部分，可以考虑使用Gradio或Streamlit这两个免费的Python库，它们能快速构建Web界面，并且与模型API对接。这两个库都是开源的，适合本地部署。 不过，可能存在一些问题。例如，用户是否有足够的硬件资源？如果模型很大，比如7B参数，可能需要至少16GB的RAM和足够的显存。如果用户只有CPU，推理速度会很慢，但可能仍然可行。 另外，模型的下载和加载可能需要一定的技术知识，比如使用transformers库加载模型，处理可能的依赖冲突。需要指导用户正确安装库的版本。 还要考虑是否有现成的示例代码或教程。例如，Hugging Face的模型页面通常有使用示例，用户可以参考这些代码进行部署。同时，Gradio和Streamlit都有官方文档和社区支持，方便用户构建界面。 可能的步骤总结如下： 1. 获取模型：从Hugging Face或官方渠道下载模型文件。 2. 安装依赖：Python环境、PyTorch、transformers库等。 3. 编写推理代码：使用模型进行预测的脚本。 4. 创建API：用FastAPI或Flask包装模型推理函数。 5. 构建前端：使用Gradio或Streamlit创建交互式界面，并连接到API。 6. 运行服务：启动API和前端服务，通过浏览器访问。 需要提醒用户注意模型许可，确保遵守开源协议。同时，免费的工具可能存在性能限制，尤其是大型模型在本地运行可能较慢。如果用户遇到问题，可能需要调试环境配置或代码错误。 另外，是否有其他替代方案？比如使用Ollama或LM Studio这类工具，它们简化了本地部署，并提供GUI。但需要确认是否支持所需的DeepSeek模型。 最后，确保步骤清晰，分步说明，并给出具体的代码示例和命令，帮助用户一步步完成部署。</think>以下是分步指南，帮助你在本地免费部署DeepSeek（假设为开源LLM）并添加可视化界面： --- ### **步骤1：确认模型来源** 1. 访问Hugging Face官网（huggingface.co） 2. 搜索确认是否存在官方开源的DeepSeek模型（如`deepseek-ai/deepseek-llm-7b-chat`） 3. 检查模型文件是否包含： - `pytorch_model.bin` (模型权重) - `config.json` (配置文件) - `tokenizer.json` (分词器) --- ### **步骤2：准备Python环境** ```bash # 创建虚拟环境 conda create -n deepseek_env python=3.10 conda activate deepseek_env # 安装核心依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 根据CUDA版本选择 pip install transformers accelerate gradio ``` --- ### **步骤3：编写模型加载代码** 创建`deepseek_app.py`： ```python from transformers import AutoTokenizer, AutoModelForCausalLM import gradio as gr # 加载模型（修改为你的实际路径） model_path = "./deepseek-7b-chat" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto") def generate_response(input_text): inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=100) return tokenizer.decode(outputs[0], skip_special_tokens=True) # 创建Gradio界面 interface = gr.Interface( fn=generate_response, inputs=gr.Textbox(lines=2, placeholder="输入你的问题..."), outputs="text", title="DeepSeek 本地版" ) interface.launch(server_port=7860, share=False) # 通过localhost:7860访问 ``` --- ### **步骤4：优化部署方案** 1. **硬件不足时的解决方案**： ```python # 使用4-bit量化（需安装bitsandbytes） model = AutoModelForCausalLM.from_pretrained( model_path, load_in_4bit=True, device_map="auto" ) ``` 2. **API服务化**（可选）： 使用FastAPI创建API： ```python from fastapi import FastAPI from pydantic import BaseModel app = FastAPI() class Query(BaseModel): prompt: str @app.post("/chat") async def chat(query: Query): return {"response": generate_response(query.prompt)} ``` --- ### **步骤5：启动服务** ```bash # 直接运行Gradio应用 python deepseek_app.py # 如果使用FastAPI uvicorn api:app --host 0.0.0.0 --port 8000 ``` --- ### **常见问题解决** 1. **显存不足**： - 尝试更小的模型版本（如1.3B/7B） - 使用CPU模式（添加`device_map="cpu"`） 2. **依赖冲突**： ```bash pip freeze > requirements.txt # 导出依赖列表排查冲突 ``` 3. **中文支持**： 在prompt中明确指定语言： ```python def generate_response(input_text): formatted_input = f"用中文回答：{input_text}" # ...后续代码不变... ``` --- ### **替代方案推荐** 1. **使用Ollama**（需确认模型支持）： ```bash ollama run deepseek # 如果存在官方镜像 ``` 2. **LM Studio工具**： - 下载地址：lmstudio.ai - 支持直接加载GGUF格式的模型 --- **注意事项**： 1. 确认模型许可协议允许本地部署 2. 7B模型需要至少10GB磁盘空间 3. 首次运行会自动下载依赖（需稳定网络） 通过上述步骤，你可以在本地拥有一个类似ChatGPT的可视化对话界面，整个过程无需支付任何云服务费用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yongqiang Cheng

梦想不是浮躁，而是沉淀和积累。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值