支持下载大模型GGUF格式的网站与平台指南

已于 2025-02-25 17:06:19 修改
阅读量2.6k 收藏 16
点赞数 8
分类专栏： 技术流Clip 文章标签： huggingface ollama modelscope lmstduio deepseek qwen
于 2025-02-24 17:46:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44008788/article/details/145833536
版权

在本地设备上高效运行大语言模型（LLM）已成为许多开发者和研究者的需求，而GGUF（GPT-Generated Unified Format）格式的诞生为此提供了重要支持。作为GGML格式的进化版，GGUF通过优化的量化策略和跨平台兼容性，成为在CPU上高效推理的首选格式。

主流GGUF模型下载平台

1. Hugging Face Hub

  • 全球最大的开源模型和数据集托管平台，提供大量GGUF格式的大模型下载。

  • 网址：Hugging Face Hub

  • 国内镜像：hf-mirror.com（访问更快）

    在这里插入图片描述

2. ModelScope（魔搭社区）

  • 阿里云开源的大模型社区，支持GGUF格式模型的下载和在线推理。

  • 网址：ModelScope

在这里插入图片描述

3. GitCode 国产模型

  • 全新上线国产模型专区，它是国产大模型的汇聚地，为开发者们打开了便捷获取各类优质模型的大门。

  • 网址：GitCode 模型

在这里插入图片描述

4. Ollama

  • 支持从Hugging Face直接拉取GGUF格式模型并本地运行，适合本地部署。

  • 网址：Ollama

    在这里插入图片描述

6. LM Studio

  • 一款本地运行大模型的工具，支持下载和运行GGUF格式模型。
  • 网址：LM Studio

在这里插入图片描述

6. 官方出品的模型

6.1 DeepSeek 官方

  • 提供 DeepSeek 模型的下载链接，包括源代码、权重文件及相关文档。
  • 网址：DeepSeek-R1

在这里插入图片描述

6.2 Qwen 官方

  • 提供 Qwen 模型的下载链接，包括源代码、权重文件及相关文档。
  • 网址：Qwen2.5

在这里插入图片描述

6.3 腾讯混元

  • 提供混元模型的下载链接，包括源代码、权重文件及相关文档。
  • 网址：Tencent Hunyuan-Large

在这里插入图片描述

LLama3最新医疗大模型安装与应用指南
程序员石磊
05-01 1510
医疗领域的开源 LLM：OpenBioLLM-Llama3，在生物医学领域优于GPT-4、Gemini、Meditron-70B、Med-PaLM-1、Med-PaLM-2OpenBioLLM-Llama3有两个版本，分别是70B 和 8B —OpenBioLLM-70B提供了SOTA性能，为同等规模模型设立了新的最先进水平 —OpenBioLLM-8B模型甚至超越了GPT-3.5、Gemini和Meditron-70B。
ollama教程——如何在Ollama中导入和管理GGUF与Safetensors模型
walkskyer的博客
07-09 7295
在使用Ollama之前，了解其支持的模型格式和版本要求是非常重要的。这部分将介绍Ollama支持的模型格式及其版本要求，并指导如何安装Ollama以确保您能够顺利进行模型导入。GGUF（General Graphical User Format）是一种高效的二进制文件格式，专门用于存储和读取机器学习模型的数据。它的设计目的是提供快速的加载和保存操作，同时保持模型数据的完整性和准确性。由于其高效性，GGUF格式被广泛应用于需要频繁读取和写入模型数据的场景中。
Ai绘画有哪些有趣的prompt？关键词分享！
Misdirection_XG的博客
12-05 276
目录随着AI技术的不断发展，越来越多的艺术家，设计师们开始使用AI来进行绘画创作，寻找灵感。AI绘画的一个重要组成部分就是prompt，就是输入给AI的指令或素材。我已经帮大家整理好了，包括风格、场景、视角等多方面的关键词。
大模型GGUF文件是啥？
qq_42755230的博客
10-18 2711
GGUF文件说明
低配机器体验DeepSeekR1大模型
yesewubian000的专栏
03-26 854
低配置服务器搭建量化后的GGUF模型
GGUF介绍安装及使用
weixin_46316820的博客
01-25 2349
GGUF 格式的全名为（GPT-Generated Unified Format），提到 GGUF 就不得不提到它的前身GGML 是专门为了机器学习设计的张量库，最早可 以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并 且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发 中，遇到了灵活性不足、相容性及难以维护的问题。
大模型（LLM）下载的四种方式
RiverStudy的博客
11-03 2040
因为大模型动辄十几GB的大小，因为对于开发人员来说，环境搭好了，模型还要好几个小时。
Llama模型GGUF格式下载与加载指南
m0_53100578的博客
12-18 4567
GGUF（GPT-Generated Unified Format）是一种专为大规模机器学习模型设计的二进制文件格式。它通过将原始的大模型预训练结果进行优化后转换而成，具有加载速度快、资源消耗低等优势。GGUF格式支持内存映射技术，使得模型数据可以直接映射到内存中，从而提高了数据处理的效率。此外，GGUF还支持跨硬件平台优化，能够在CPU和GPU上高效运行。通过本文的介绍，你应该已经了解了如何从Huggingface下载Llama模型的GGUF文件，并使用Ollama工具进行离线加载。
Ubuntu上如何优雅下载huggingface上某个gguf模型文件
weixin_41338279的博客
09-25 1167
需求：下载 Gorilla Openfunctions V2 Q2 GGUF模型到本地。
DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf 模型下载地址
学亮编程手记
02-13 1384
https://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/fileshttps://modelscope.cn/models/unsloth/DeepSeek-R1-Distill-Qwen-1.5B-GGUF/resolve/master/DeepSeek-R1-Distill-Qwen-1.5B-Q4_K_M.gguf
stablediffusion四大热门模型下载网站
libaiup的博客
12-19 2376
想要获取优质的AI绘画模型，如，却不知道去哪里下载？别担心，以下是四大热门网站，助您轻松找到心仪的模型！Civitai，简称，是知名的Diffusion AI艺术模型平台。这里汇聚了超过1700个精选模型，均由全球热爱艺术的创作者上传并分享。此外，Civitai还提供了12000多张带有提示语的示例图片，供用户参考和评价。不仅可以上传自己训练的模型，还能下载和使用其他用户创建的模型。更有Automatic1111 SD Web UI扩展，让您根据模型哈希值自动下载预览图像和模型，体验无比便捷。
将模型转换为gguf格式
09-15
将模型转换为gguf格式通常是指将机器学习模型保存为通用格式，以便在不同的编程语言或平台之间进行迁移或共享。虽然“gguf”格式不是一个广泛认可的标准格式，但您可能是想要提到的是“ggplot”风格的可视化方法，...
deepseek大模型安装包gguf
02-10
如果该项目遵循常见的开源实践，则可能在项目主页上提供了详细的安装指南以及各种支持格式的下载选项。 考虑到当前资料库中的局限性，推荐采取以下方式定位所需资源： - 访问DeepSeek项目的官方网页或GitHub页面...
【人工智能】解锁AI潜能：LM Studio多模型并行运行DeepSeek与开源大模型的实践指南
最新发布
一个被知识诅咒的人
05-07 1040
随着大语言模型（LLM）的快速发展，LM Studio作为一款本地化部署工具，以其简单易用的图形化界面和强大的模型管理能力受到广泛关注。本文深入探讨了如何利用LM Studio实现多模型并行运行，重点聚焦于DeepSeek系列模型与其他开源模型的协同部署。通过详细的安装配置、模型加载、资源优化和API调用实践，结合丰富的代码示例和数学推导，本文为开发者提供了一套完整的解决方案。文章涵盖了硬件要求、环境准备、模型并行运行的优化策略，以及如何通过LM Studio的API实现外部应用集成，助力开发者在本地高效运
国内下载大模型：替代 Huggingface 的两个方案
热门推荐
悟能的师兄的专栏
03-15 1万+
​ 国内用户往往难以直接访问Huggingface.co来获取所需资源。国内有几个优秀平台提供的替代方案。
Ollama 运行从 ModelScope 下载的 GGUF 格式的模型(DeepSeek 为例)
BI
01-29 4789
Windows 10。
这些可以免费下载3D模型网站，一定要收藏！
mirrornan的博客
10-29 1万+
免费下载3D模型的途径有很多，用户可以根据自己的需求和喜好选择合适的网站和方法。在使用这些模型时，务必注意版权问题和模型质量。
开源大模型项目，助你效率提高 10 倍
2401_85375298的博客
10-23 1596
Flowise 是一款开源 UI 可视化工具，用于构建定制的 LLM 编排流程和 AI 代理。" )}
模型的快速下载（DeepSeek,任何模型都适用）
anningyue的博客
02-10 1万+
模型的快速下载（DeepSeek,任何模型都适用）
模型文件gguf下载地址
03-15
### GGUF 格式的模型文件下载 GGUF 是一种用于存储大语言模型参数的新格式，具有高效性和可扩展性的特点。要找到并下载 GGUF 格式的模型文件，可以参考以下方法： #### 方法一：Hugging Face 模型库 许多社区贡献者已经开始将流行的 LLM 转换为 GGUF 格式，并上传到 Hugging Face 的模型仓库中。可以通过访问 Hugging Face 官网 (https://huggingface.co/models)，在搜索框中输入关键词 `GGUF` 或特定模型名称加上 `GGUF` 后缀来查找目标模型[^1]。 例如： - 如果需要 Stable Diffusion 类型的模型，可以在搜索栏中尝试关键字组合如 `StableDiffusion GGUF`。 - 对于其他类型的大型语言模型，则可以直接查询其官方文档或者社区讨论区是否有对应的转换版本发布。 #### 方法二：第三方网站与资源链接 除了 Hugging Face 外，还有一些专注于 AI 和机器学习技术交流分享平台也可能提供此类新型数据集或预训练权重文件下载服务。比如 GitHub 上的一些开源项目页面经常会附带详细的安装指南以及必要的依赖项说明，其中包括如何获取最新版的支持 GGUF 输出功能脚本程序及其应用实例演示等内容[^2]。 以下是几个可能包含GGUF格式模型文件下载地址的例子(需自行验证有效性)： - https://github.com/ggerganov/llama.cpp/tree/master/examples/ggml-converter - http://example.ggufmodels/download/ 注意: 实际操作前请仔细阅读相关许可协议条款以确保合法合规使用这些素材资料。 ```python import requests def download_gguf_model(url, destination_folder): response = requests.get(url) if response.status_code == 200: with open(f"{destination_folder}/model.gguf", 'wb') as f: f.write(response.content) print("Model successfully downloaded.") else: raise Exception("Failed to fetch the model.") download_url = "http://example.ggufmodels/download/model.gguf" local_directory = "./my_models" try: download_gguf_model(download_url, local_directory) except Exception as e: print(e) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值