支持下载大模型GGUF格式的网站与平台指南

已于 2025-02-25 17:06:19 修改
阅读量2.1k 收藏 12
点赞数 7
分类专栏： 技术流Clip 文章标签： huggingface ollama modelscope lmstduio deepseek qwen
于 2025-02-24 17:46:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44008788/article/details/145833536
版权

在本地设备上高效运行大语言模型（LLM）已成为许多开发者和研究者的需求，而GGUF（GPT-Generated Unified Format）格式的诞生为此提供了重要支持。作为GGML格式的进化版，GGUF通过优化的量化策略和跨平台兼容性，成为在CPU上高效推理的首选格式。

主流GGUF模型下载平台

1. Hugging Face Hub

  • 全球最大的开源模型和数据集托管平台，提供大量GGUF格式的大模型下载。

  • 网址：Hugging Face Hub

  • 国内镜像：hf-mirror.com（访问更快）

    在这里插入图片描述

2. ModelScope（魔搭社区）

  • 阿里云开源的大模型社区，支持GGUF格式模型的下载和在线推理。

  • 网址：ModelScope

在这里插入图片描述

3. GitCode 国产模型

  • 全新上线国产模型专区，它是国产大模型的汇聚地，为开发者们打开了便捷获取各类优质模型的大门。

  • 网址：GitCode 模型

在这里插入图片描述

4. Ollama

  • 支持从Hugging Face直接拉取GGUF格式模型并本地运行，适合本地部署。

  • 网址：Ollama

    在这里插入图片描述

6. LM Studio

  • 一款本地运行大模型的工具，支持下载和运行GGUF格式模型。
  • 网址：LM Studio

在这里插入图片描述

6. 官方出品的模型

6.1 DeepSeek 官方

  • 提供 DeepSeek 模型的下载链接，包括源代码、权重文件及相关文档。
  • 网址：DeepSeek-R1

在这里插入图片描述

6.2 Qwen 官方

  • 提供 Qwen 模型的下载链接，包括源代码、权重文件及相关文档。
  • 网址：Qwen2.5

在这里插入图片描述

6.3 腾讯混元

  • 提供混元模型的下载链接，包括源代码、权重文件及相关文档。
  • 网址：Tencent Hunyuan-Large

在这里插入图片描述

LLAMA2（Meta大语言模型）可运行整合包的下载与安装
沧海之巅的专栏
09-26 6242
百度网盘链接：https://pan.baidu.com/s/1g1xknRdeHWPsAeZl9urXxg?百度网盘链接：https://pan.baidu.com/s/19gPNTTPc6cAdM2DLfmaE0w?根据你的系统，把generation_linux.py或者generation_win.py修改为generation.py。夸克网盘链接：https://pan.quark.cn/s/b6ceb2c6211b。1）进入工程目录运行download.sh。2）填入收到的邮件中的链接。
ollama教程——如何在Ollama中导入和管理GGUF与Safetensors模型
walkskyer的博客
07-09 7102
在使用Ollama之前，了解其支持的模型格式和版本要求是非常重要的。这部分将介绍Ollama支持的模型格式及其版本要求，并指导如何安装Ollama以确保您能够顺利进行模型导入。GGUF（General Graphical User Format）是一种高效的二进制文件格式，专门用于存储和读取机器学习模型的数据。它的设计目的是提供快速的加载和保存操作，同时保持模型数据的完整性和准确性。由于其高效性，GGUF格式被广泛应用于需要频繁读取和写入模型数据的场景中。
为什么要转GGUF格式？
weixin_43966908的博客
01-24 1037
GGUF 格式的全名为（GPT-Generated Unified Format），提到GGUF 就不得不提到它的前身 GGML（GPT-Generated Model Language）。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问题。
大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
qingkahui24689的博客
01-26 1319
在人工智能领域，大型语言模型的发展日新月异，它们在自然语言处理、机器翻译、智能助手等多个领域展现出了前所未有的能力。然而，随着模型规模的不断扩大，这些庞大的神经网络模型在存储、传输和加载上面临着一系列挑战。传统的文件格式在处理这些庞大的数据集时显得力不从心，不仅效率低下，而且兼容性和扩展性也难以满足日益增长的需求。在这样的背景下，GGUF（GPT-Generated Unified Format）应运而生。
学习笔记-大模型GGUF是什么？
地球空间
02-25 846
GGUF通过二进制编码、内存映射（mmap）等技术，显著提升模型加载速度并降低内存占用。例如，在推理时可直接从磁盘映射数据到内存，无需完全加载整个文件。GGUF文件自包含所有模型信息（如元数据、张量数据），支持跨平台使用，无需依赖外部文件或复杂配置。同时，其键值对元数据结构允许灵活扩展，保持向后兼容。GGUF支持多种量化类型（如Q8_K、Q6_K等），通过降低模型精度减少文件大小，适用于不同硬件资源场景。LM Studio作为本地大模型部署工具，
本地基于GGUF部署的DeepSeek实现轻量级调优之一：提示工程（Prompt Engineering）（完整详细教程）
搏博的专栏
02-09 3877
前文，我们在本地windows电脑基于GGUF文件，部署了DeepSeek-1.5B模型，如果想自行对模型进行训练，离线模式下加载本地的DeepSeek模型进行训练时，是不能直接使用GGUF文件进行训练。（1）推理优化：GGUF（GPT-Generated Unified Format）是专为高效推理设计的二进制格式，常用于llama.cpp等工具在CPU/GPU上运行量化模型。（2）量化支持：支持多种量化方法（如Q4_K_M、Q5_K_S），显著减少显存占用，但会损失部分精度。
大模型（LLM）下载的四种方式
RiverStudy的博客
11-03 1893
因为大模型动辄十几GB的大小，因为对于开发人员来说，环境搭好了，模型还要好几个小时。
Llama模型GGUF格式下载与加载指南
m0_53100578的博客
12-18 4409
GGUF（GPT-Generated Unified Format）是一种专为大规模机器学习模型设计的二进制文件格式。它通过将原始的大模型预训练结果进行优化后转换而成，具有加载速度快、资源消耗低等优势。GGUF格式支持内存映射技术，使得模型数据可以直接映射到内存中，从而提高了数据处理的效率。此外，GGUF还支持跨硬件平台优化，能够在CPU和GPU上高效运行。通过本文的介绍，你应该已经了解了如何从Huggingface下载Llama模型的GGUF文件，并使用Ollama工具进行离线加载。
Ubuntu上如何优雅下载huggingface上某个gguf模型文件
weixin_41338279的博客
09-25 1102
需求：下载 Gorilla Openfunctions V2 Q2 GGUF模型到本地。
DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf 模型下载地址
学亮编程手记
02-13 1235
https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/fileshttps://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/resolve/master/DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf
stablediffusion四大热门模型下载网站
libaiup的博客
12-19 2213
想要获取优质的AI绘画模型，如，却不知道去哪里下载？别担心，以下是四大热门网站，助您轻松找到心仪的模型！Civitai，简称，是知名的Diffusion AI艺术模型平台。这里汇聚了超过1700个精选模型，均由全球热爱艺术的创作者上传并分享。此外，Civitai还提供了12000多张带有提示语的示例图片，供用户参考和评价。不仅可以上传自己训练的模型，还能下载和使用其他用户创建的模型。更有Automatic1111 SD Web UI扩展，让您根据模型哈希值自动下载预览图像和模型，体验无比便捷。
基于Qwen2.5-7B-Instruct的大模型微调实战指南
11-18
通过本文档，读者可以逐步掌握如何在AutoDL平台上独立部署并微调大模型。 适合人群：具备一定的机器学习基础和技术能力的研究人员和开发者。 使用场景及目标：适用于希望深入了解和应用大模型微调技术的实际项目，如...
将模型转换为gguf格式
09-15
将模型转换为gguf格式通常是指将机器学习模型保存为通用格式，以便在不同的编程语言或平台之间进行迁移或共享。虽然“gguf”格式不是一个广泛认可的标准格式，但您可能是想要提到的是“ggplot”风格的可视化方法，...
deepseek大模型安装包gguf
02-10
如果该项目遵循常见的开源实践，则可能在项目主页上提供了详细的安装指南以及各种支持格式的下载选项。 考虑到当前资料库中的局限性，推荐采取以下方式定位所需资源： - 访问DeepSeek项目的官方网页或GitHub页面...
模型文件gguf下载地址
最新发布
03-15
### GGUF 格式的模型文件下载 GGUF 是一种用于存储大语言模型参数的新格式，具有高效性和可扩展性的特点。要找到并下载 GGUF 格式的模型文件，可以参考以下方法： #### 方法一：Hugging Face 模型库 许多社区贡献...
国内下载大模型：替代 Huggingface 的两个方案
热门推荐
悟能的师兄的专栏
03-15 1万+
​ 国内用户往往难以直接访问Huggingface.co来获取所需资源。国内有几个优秀平台提供的替代方案。
Ollama 运行从 ModelScope 下载的 GGUF 格式的模型(DeepSeek 为例)
BI
01-29 4437
Windows 10。
这些可以免费下载3D模型网站，一定要收藏！
mirrornan的博客
10-29 1万+
免费下载3D模型的途径有很多，用户可以根据自己的需求和喜好选择合适的网站和方法。在使用这些模型时，务必注意版权问题和模型质量。
模型的快速下载（DeepSeek,任何模型都适用）
anningyue的博客
02-10 1万+
模型的快速下载（DeepSeek,任何模型都适用）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值