【自然语言处理与大模型】Ollama拉取huggingface社区或modelscope社区的GGUF模型并部署

        huggingface社区和魔塔社区上的gguf模型现在都支持了ollama部署模型。本文做一个简单的使用总结，详细的官方文档我放在文末。

一、快速使用命令

（1）huggingface

ollama拉取并部署gguf模型命令

# hf.co是huggingface社区
# username/repository是模型在社区的路径
ollama run hf.co/{username}/{repository}

国内用户可以将hf.co改成hf-mirror.com

ollama run hf-mirror.com/{username}/{repository}

拉取带量化的gguf模型

# 命令
ollama run hf.co/{username}/{repository}:{quantization}
# 以千问模型为例
ollama run hf.co/Qwen/Qwen2.5-1.5B-Instruct-GGUF:Q2_K

实际跑一下命令，发现huggingface社区拉取GGUF模型巨慢无比！