Ollama是一个致力于让用户轻松搭建和运行大语言模型(LLM)的开源项目,在GitHub上备受关注。它提供了便捷的模型管理和交互方式,支持多种模型,并拥有丰富的社区集成生态。
- 项目概述:Ollama旨在为用户提供简单高效的方式来运行和管理大语言模型,降低本地部署和使用LLM的门槛。项目涵盖模型下载、自定义、运行以及通过命令行界面(CLI)和REST API进行交互等功能,支持多种操作系统,如macOS、Windows和Linux。
- 核心功能
- 模型库支持:Ollama支持众多流行的大语言模型,如Gemma 3、QwQ、DeepSeek-R1、Llama系列、Phi 4等。用户可以通过简单的命令下载并运行这些模型,如
ollama run llama3.2
。模型参数和大小各异,用户需根据自身硬件条件选择,例如7B模型建议至少8GB内存,13B模型建议16GB内存 ,33B模型建议32GB内存。 - 模型自定义:用户可以从GGUF或Safetensors格式导入自定义模型。通过创建
Modelfile
,利用FROM
指令指定模型路径,再使用ollama create
命令创建并运行自定义模型。还能通过修改Modelfile
中的参数和系统消息来自定义模型的行为和输出风格。 - 命令行交互:Ollama提供丰富的CLI命令。
ollama create
用于从Modelfile
创建模型;ollama pull
可拉取或更新模型;ollama rm
删除模型;ollama cp
复制模型 ;ollama show
、ollama list
、ollama ps
分别用于展示模型信息、列出本地模型和显示当前加载的模型;ollama stop
停止运行模型;ollama serve
启动Ollama服务。此外,支持多行输入,并能在命令中传递提示信息,方便与模型交互。 - REST API:提供REST API,方便用户通过HTTP请求与模型进行交互。比如通过
/api/generate
和/api/chat
端点,分别实现生成文本和聊天功能。用户可以在请求中指定模型和提示信息,获取模型的响应。
- 模型库支持:Ollama支持众多流行的大语言模型,如Gemma 3、QwQ、DeepSeek-R1、Llama系列、Phi 4等。用户可以通过简单的命令下载并运行这些模型,如
- 社区集成与生态:Ollama拥有丰富的社区集成,涵盖多个领域。在Web与桌面端,有Open WebUI、SwiftChat等多种界面可供选择;在终端方面,有oterm、Ellama Emacs client等工具;在数据库领域,pgai、MindsDB