Ollama史诗级升级，一键拉取运行任意Huggingface，hf-mirror GGUF格式大模型，45K个模型让你痛快畅玩

本文链接：https://blog.csdn.net/Python_cocola/article/details/143129918

前言

相信许多人和我一样，最初接触 AI 时也是从Ollama开始的，Ollama 之所以这么出色，是因为它使用了 GGML 格式（这是一种‘轻量版’的大语言模型，以较低精度运行，能够轻松适配普通硬件），而且它足够的简单，类似于Docker，只需要简单的命令就可以拉取镜像，运行镜像，甚至有Modelfile文件来自行设定大模型。

以前不支持Huggingface时，我们需要自行下载GGUF格式大模型，然后根据Modelfile来自定义构建，很是不方便。

现在，它终于得来了，它终于支持了Huggingface上的GGUF格式模型了，大约45K个GGUF模型，随便你用，而不在局限于它本身的Models列表了，也不用创建Modelfile文件了，这次的步子迈的有点大了。

实战

你需要做的只是一条命令：

ollama run hf.co/{username}/{reponame}:latest

例如运行: Qwen 2.5 1.5B GGUF大模型：

地址：
https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF
https://hf-mirror.com/Qwen/Qwen2.5-1.5B-Instruct-GGUF

ollama run hf.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF:latest  
#或者  
ollama run huggingface.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF:latest  
  
# 注意  
# :latest 可以不加，不加默认就是:latest

当然这需要有魔法的，对于国内用户，请执行：

ollama run hf-mirror.com/Qwen/Qwen2.5-1.5B-Instruct-GGUF

如果指定了 :latest 或没有指定 :latest，默认情况下，当Q4_K_M量化方案存在于模型存储库中时，将使用该方案。如果没有，我们默认选择存储库中存在的一种合理的量化类型。

当然如果你想要拉取某个自定义量化的，只需要添加一个标签：

ollama run hf.co/{username}/{repository}:{quantization}  
# 或  
ollama run huggingface.co/{username}/{repository}:{quantization}  
# 国内  
ollama run hf-mirror.com/{username}/{repository}:{quantization}

例如上面的：Qwen 2.5 1.5B GGUF大模型

ollama run hf-mirror.com/Qwen/Qwen2.5-1.5B-Instruct-GGUF:q4_0

咋样，是不是感觉可以把 ollama 的注册表 models 丢进垃圾箱了。

注意

你不能使用ollama直接加载本地存在的GGUF文件，即使你是从HF拉取的模型文件，因为ollama会重命名为哈希字符串，这意味着你只能重新拉取而不能使用你以前下载下来的。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述