Ollama

Ollama

快速上手大型语言模型。

macOS

下载

Windows

下载

Linux

curl -fsSL https://ollama.com/install.sh | sh

手动安装说明

Docker

官方的 Ollama Docker 镜像 ollama/ollama 已在 Docker Hub 上提供。

库

• ollama-python
• ollama-js

社区

• Discord
• Reddit

快速入门

要运行并与 Llama 3.2 对话：

ollama run llama3.2

模型库

Ollama 支持 ollama.com/library 上可用的模型列表。

以下是可以下载的一些示例模型：

模型名称	参数量	大小	下载命令
Gemma 3	1B	815MB	ollama run gemma3:1b
Gemma 3	4B	3.3GB	ollama run gemma3
Gemma 3	12B	8.1GB	ollama run gemma3:12b
Gemma 3	27B	17GB	ollama run gemma3:27b
QwQ	32B	20GB	ollama run qwq
DeepSeek-R1	7B	4.7GB	ollama run deepseek-r1
DeepSeek-R1	671B	404GB	ollama run deepseek-r1:671b
Llama 3.3	70B	43GB	ollama run llama3.3
Llama 3.2	3B	2.0GB	ollama run llama3.2
Llama 3.2	1B	1.3GB	ollama run llama3.2:1b
Llama 3.2 Vision	11B	7.9GB	ollama run llama3.2-vision
Llama 3.2 Vision	90B	55GB	ollama run llama3.2-vision:90b
Llama 3.1	8B	4.7GB	ollama run llama3.1
Llama 3.1	405B	231GB	ollama run llama3.1:405b
Phi 4	14B	9.1GB	ollama run phi4
Phi 4 Mini	3.8B	2.5GB	ollama run phi4-mini
Mistral	7B	4.1GB	ollama run mistral
Moondream 2	1.4B	829MB	ollama run moondream
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Granite-3.2	8B	4.9GB	ollama run granite3.2

[!NOTE] 运行 7B 模型至少需要 8 GB 内存，运行 13B 模型需要 16 GB 内存，运行 33B 模型需要 32 GB 内存。

定制模型

从 GGUF 导入

Ollama 支持从 Modelfile 中导入 GGUF 模型：

1. 创建一个名为 Modelfile 的文件，使用 FROM 指令并提供要导入的模型的本地文件路径。

   FROM ./vicuna-33b.Q4_0.gguf
   

2. 在 Ollama 中创建模型

   ollama create example -f Modelfile
   

3. 运行模型

   ollama run example
   

从 Safetensors 导入

请参考指南了解更多关于导入模型的信息。

定制提示

来自 Ollama 库的模型可以通过提示进行定制。例如，定制 llama3.2 模型：

ollama pull llama3.2

创建一个 Modelfile：

FROM llama3.2

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

接下来，创建并运行模型：

ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.

了解更多关于使用 Modelfile 的信息，请查阅Modelfile 文档。

命令行界面参考

创建模型

使用 ollama create 命令可以从 Modelfile 创建一个模型。

ollama create mymodel -f ./Modelfile

提取模型

ollama pull llama3.2

这条命令同样可以用来更新本地模型。只会拉取差异部分。

删除模型

ollama rm llama3.2

复制模型

ollama cp llama3.2 my-model

多行输入

对于多行输入，您可以使用 """ 将文本包裹起来：

>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.

多模态模型

ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"

输出：图像展现了一个黄色的笑脸，这很可能是图片的中心焦点。

Pass the prompt as an argument

ollama run llama3.2 "Summarize this file: $(cat README.md)"

输出：Ollama 是一个轻量级、可扩展的框架，用于在本地计算机上构建和运行语言模型。它提供了创建、运行和管理模型的简单 API，以及一系列预构建模型的库，这些模型可以轻松地应用于各种场景。

显示模型信息

ollama show llama3.2

在您的计算机上列出模型

ollama list

列出当前已加载的模型

ollama ps

停止当前正在运行的模式

ollama stop llama3.2

开始 Ollama

使用 ollama serve 命令，可以在不运行桌面应用程序的情况下启动 ollama。

构建指南

请参阅开发者指南

运行本地构建

接下来，启动服务器：

./ollama serve

最后，在另一个独立的壳中，运行一个模型：

./ollama run llama3.2

REST API

Ollama 提供了一套 REST API，用于运行和管理模型。

生成响应

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt":"Why is the sky blue?"
}'

与模型对话

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

查看API 文档了解所有端点。

社区集成

Web & 桌面

• Open WebUI
• SwiftChat (macOS with ReactNative)
• Enchanted (macOS native)
• Hollama
• Lollms-Webui
• LibreChat
• Bionic GPT
• HTML UI
• Saddle
• TagSpaces（一个基于文件的应用程序平台，利用 Ollama 生成标签和描述）
• Chatbot UI
• Chatbot UI v2
• Typescript UI
• Ollama 模型的简约 React UI
• Ollamac
• big-AGI
• Cheshire Cat 助手框架
• Amica
• chatd
• Ollama-SwiftUI
• Dify.AI
• MindMac
• NextJS Web 界面
• Msty
• Chatbox
• WinForm Ollama Copilot
• NextChat以及入门文档
• Alpaca WebUI
• OllamaGUI
• OpenAOE
• Odin Runes
• LLM-X（渐进式 Web 应用）
• AnythingLLM (Docker + MacOs/Windows/Linux native app)
• Ollama 基础聊天：使用 HyperDiv 反应式 UI
• Ollama-chats RPG
• IntelliBar（macOS 上的 AI 助手）
• QA-Pilot（一种交互式聊天工具，可以借助 Ollama 模型快速理解并导航 GitHub 代码仓库）
• ChatOllama（基于 Ollama 和知识库的开源聊天机器人）
• CRAG Ollama Chat（简单的 Web 搜索与纠正 RAG）
• RAGFlow（基于深度文档理解的开放源代码检索增强生成引擎）
• StreamDeploy（LLM 应用脚手架）
• chat（团队的聊天网页应用）
• Lobe Chat以及集成文档
• Ollama RAG 聊天机器人（使用 Ollama 和 RAG 的本地聊天，支持多个 PDF）
• BrainSoup（支持 RAG 和多代理自动化的灵活原生客户端）
• macai（macOS 客户端，支持 Ollama、ChatGPT 和其他兼容的 API 后端）
• RWKV-Runner（RWKV 离线 LLM 部署工具，也可用作 ChatGPT 和 Ollama 的客户端）
• Ollama 网格搜索（评估和比较模型的应用程序）
• Olpaka（Ollama 的用户友好型 Flutter Web 应用）
• Casibase（一个结合最新 RAG、SSO、Ollama 支持 和多个大型语言模型的开放源代码 AI 知识库和对话系统。）
• OllamaSpring（macOS 的 Ollama 客户端）
• LLocal.in（易于使用的 Electron 桌面客户端）
• Shinkai Desktop（两键安装本地 AI，使用 Ollama + 文件 + RAG）
• AiLama（一个 Discord 用户应用，允许你在 discord 中的任何地方与 Ollama 互动）
• Ollama 与 Google Mesop（Mesop 聊天客户端的 Ollama 实现）
• R2R（开放源代码 RAG 引擎）
• Ollama-Kis（用于驾驶员教育的简单易用 GUI，附带样本自定义 LLM）
• OpenGPA（离线优先的企业级代理应用程序）
• Painting Droid（带有 AI 集成的绘画应用）
• Kerlig AI（macOS 的 AI 写作助手）
• AI Studio
• Sidellama（基于浏览器的 LLM 客户端）
• LLMStack（无代码多代理框架，用于构建 LLM 代理和工作流）
• BoltAI for Mac（Mac 的 AI 聊天客户端）
• Harbor（带有 Ollama 作为默认后端的容器化 LLM 工具包）
• PyGPT（Linux、Windows 和 Mac 的 AI 桌面助手）
• Alpaca（Linux 和 macOS 的 Ollama 客户端应用程序，使用 GTK4 和 Adwaita）
• AutoGPT（AutoGPT 的 Ollama 集成）
• Go-CREW（Golang 的强大离线 RAG）
• PartCAD（使用 OpenSCAD 和 CadQuery 生成 CAD 模型）
• Ollama4j Web UI - 使用 Vaadin、Spring Boot 和 Ollama4j 构建的 Ollama Java-based Web UI
• PyOllaMx - 能够与 Ollama 和 Apple MLX 模型聊天的 macOS 应用程序。
• Cline - 前称 Claude Dev，是一个 VSCode 扩展，用于多文件/整个仓库编码
• Cherry Studio（带有 Ollama 支持的桌面客户端）
• ConfiChat（轻量级、独立、跨平台、注重隐私的 LLM 聊天界面，可选加密）
• Archyve（支持 RAG 的文档库）
• crewAI 与 Mesop（Mesop Web 界面，用于运行带有 Ollama 的 crewAI）
• 基于 Tkinter 的客户端（Python tkinter-based 的 Ollama 客户端）
• LLMChat（注重隐私、100% 本地、直观的全功能聊天界面）
• 本地多模态 AI 聊天（支持多种功能，包括 PDF RAG、语音聊天、基于图像的交互和 OpenAI 集成的 Ollama-based LLM 聊天）
• ARGO（在 Mac/Windows/Linux 上下载并运行 Ollama 和 Huggingface 模型的本地 RAG）
• OrionChat - OrionChat 是一个用于与不同 AI 提供商聊天的 Web 界面
• G1（使用提示策略通过类似 o1 的推理链来改进 LLM 推理的原型）
• Web 管理（Web 管理页面）
• Promptery（Ollama 的桌面客户端）
• Ollama 应用（现代且易于使用的多平台 Ollama 客户端）
• chat-ollama（Ollama 的 React Native 客户端）
• SpaceLlama（Firefox 和 Chrome 扩展，使用 ollama 在侧边栏快速总结网页）
• YouLama（Web 应用程序，可快速总结任何 YouTube 视频，支持 Invidious）
• DualMind（实验性应用，允许两个模型在终端或 Web 界面中相互对话）
• ollamarama-matrix（Ollama 聊天机器人，适用于 Matrix 聊天协议）
• ollama-chat-app（基于 Flutter 的聊天应用）
• Perfect Memory AI（个性化生产力 AI，根据你在屏幕上看到的、听到的和会议中说的内容进行辅助）
• Hexabot（一个对话式 AI 构建器）
• Reddit Rate（使用加权求和搜索和评分 Reddit 主题）
• OpenTalkGpt（Chrome 扩展，用于管理支持 Ollama 的开源模型，创建自定义模型，并通过用户友好的界面与模型聊天）
• VT（一个简约的多模态 AI 聊天应用，支持动态对话路由。支持通过 Ollama 的本地模型）
• Nosia（基于 Ollama 的易于安装和使用的 RAG 平台）
• Witsy（适用于 Mac/Windows/Linux 的 AI 桌面应用程序）
• Abbey（一款功能可配置的人工智能接口服务器，支持笔记本、文档存储和YouTube功能）
• Minima（一款支持本地或完全本地工作流的 Retrieval Augmented Generator）
• aidful-ollama-model-delete（简化模型清理的用户界面）
• Perplexica（一款基于人工智能的搜索引擎，以及Perplexity AI的开源替代品）
• Ollama Chat WebUI for Docker（支持本地Docker部署，轻量级的Ollama网页用户界面）
• AI Toolkit for Visual Studio Code（微软官方的VSCode扩展，支持与Ollama的聊天、测试、评估模型，并在AI应用程序中使用它们）
• MinimalNextOllamaChat（用于聊天和模型控制的极简Web用户界面）
• Chipper（面向爱好者的AI接口，支持Ollama、Haystack RAG和Python）
• ChibiChat（基于Kotlin的Android应用，用于与Ollama和Koboldcpp API端点聊天）
• LocalLLM（一个极简的Web应用程序，用于在GUI上运行Ollama模型）
• Ollamazing（用于运行Ollama模型的Web扩展）
• OpenDeepResearcher-via-searxng（一个支持Ollama的深度研究等效端点，可在本地运行）
• AntSK（开箱即用且可适应的RAG聊天机器人）
• MaxKB（即插即用且灵活的RAG聊天机器人）
• yla（用于与自定义模型自由交互的Web界面）
• LangBot（基于LLM的即时通讯机器人平台，具备 Agents、RAG 特性，支持多平台）
• 1Panel（基于Web的Linux服务器管理工具）
• AstrBot（面向多平台的用户友好型LLM聊天机器人，具备WebUI，支持RAG、LLM Agents和插件集成）
• Reins（轻松调整参数，按聊天自定义系统提示，并通过推理模型支持增强您的AI实验）
• Ellama（用于与Ollama实例聊天的友好原生应用）
• screenpipe（构建基于屏幕历史记录的智能代理）
• Ollamb（简单而功能丰富的跨平台应用程序，使用Flutter构建，专为Ollama设计。尝试网页演示。）
• Writeopia（支持Ollama集成的文本编辑器）
• AppFlowy（支持Ollama的AI协作工作空间，跨平台且可自托管）

云服务

• Google Cloud
• Fly.io
• Koyeb

终端

• oterm
• Ellama Emacs客户端
• Emacs客户端
• neollama（用于在Neovim内与模型交互的UI客户端）
• gen.nvim
• ollama.nvim
• ollero.nvim
• ollama-chat.nvim
• ogpt.nvim
• gptel Emacs客户端
• Oatmeal
• cmdh
• ooo
• shell-pilot（在Linux或macOS上通过纯shell脚本与模型交互）
• tenere
• llm-ollama 用于Datasette的LLM CLI。
• typechat-cli
• ShellOracle
• tlm
• podman-ollama
• gollama
• ParLlama
• Ollama eBook Summary
• Ollama混合专家模型（MOE）在50行代码中
• vim-intelligence-bridge（"Ollama"与Vim编辑器的简单交互）
• x-cmd ollama
• bb7
• SwollamaCLI 与Swollama Swift软件包捆绑。 演示
• aichat 拥有Shell Assistant、Chat-REPL、RAG、AI工具和代理的全能LLM CLI工具，支持OpenAI、Claude、Gemini、Ollama、Groq等。
• PowershAI PowerShell模块，将AI带到Windows终端，包括对Ollama的支持
• DeepShell 您的自托管AI助手。交互式Shell，文件和文件夹分析。
• orbiton 无需配置的文本编辑器和IDE，支持与Ollama的标签完成。
• orca-cli Ollama注册表CLI应用程序 - 在终端中浏览、拉取和下载Ollama注册表中的模型。
• GGUF-to-Ollama - 将GGUF导入Ollama变得简单（多平台）

Apple Vision Pro

• SwiftChat（支持Apple Vision Pro的跨平台AI聊天应用，通过“为iPad设计”实现）
• Enchanted

数据库

• pgai - 将PostgreSQL作为向量数据库（使用pgvector创建和搜索来自Ollama模型的嵌入）
  • 入门指南
• MindsDB（将Ollama模型连接到近200个数据平台和应用程序）
• chromem-go 以及示例
• Kangaroo（面向流行数据库的AI智能SQL客户端和管理工具）

包管理器

• Pacman
• Gentoo
• Homebrew
• Helm Chart
• Guix channel
• Nix package
• Flox

库

• LangChain 和 LangChain.js 以及 示例
• Firebase Genkit
• crewAI
• Yacana（用户友好的多代理框架，用于头脑风暴和执行预设流程，并集成了内置工具）
• Spring AI 以及 参考 和 示例
• LangChainGo 以及 示例
• LangChain4j 以及 示例
• LangChainRust 以及 示例
• LangChain for .NET 以及 示例
• LLPhant
• LlamaIndex 和 LlamaIndexTS
• LiteLLM
• OllamaFarm for Go
• OllamaSharp for .NET
• Ollama for Ruby
• Ollama-rs for Rust
• Ollama-hpp for C++
• Ollama4j for Java
• ModelFusion Typescript Library
• OllamaKit for Swift
• Ollama for Dart
• Ollama for Laravel
• LangChainDart
• Semantic Kernel - Python
• Haystack
• Elixir LangChain
• Ollama for R - rollama
• Ollama for R - ollama-r
• Ollama-ex for Elixir
• Ollama Connector for SAP ABAP
• Testcontainers
• Portkey
• PromptingTools.jl 以及 示例
• LlamaScript
• llm-axe（用于构建 LLM 动力应用的 Python 工具包）
• Gollm
• Gollama for Golang
• Ollamaclient for Golang
• Go 中的高级函数抽象
• Ollama PHP
• Agents-Flex for Java 以及 示例
• Parakeet 是一个 GoLang 库，旨在简化使用 Ollama 开发小型生成式 AI 应用程序的过程。
• Haverscript 以及 示例
• Ollama for Swift
• Swollama for Swift 以及 文档
• GoLamify
• Ollama for Haskell
• multi-llm-ts（一个 Typescript/JavaScript 库，允许通过统一 API 访问不同的 LLM）
• LlmTornado（一个 C# 库，提供了主要的开源和商业推理 API 的统一接口）
• Ollama for Zig
• Abso（适用于任何 LLM 提供商的 OpenAI 兼容 TypeScript SDK）
• Nichey 是一个 Python 包，用于为您的研课题生成自定义维基
• Ollama for D

移动端

• SwiftChat（具有原生 UI 的闪电般快速的跨平台 AI 聊天应用，适用于 Android、iOS 和 iPad）
• Enchanted
• Maid
• Ollama App（现代且易于使用的多平台 Ollama 客户端）
• ConfiChat（轻量级、独立、多平台且注重隐私的 LLM 聊天界面，可选加密）
• Ollama Android Chat（无需 Termux，在 Android 设备上点击一下即可启动 Ollama 服务）
• Reins（轻松调整参数，按聊天自定义系统提示，并支持推理模型，以增强您的 AI 实验效果。）

扩展和插件

• Raycast扩展
• Discollama（在Ollama Discord频道中的Discord机器人）
• Continue
• Vibe（使用Ollama转录和分析会议）
• Obsidian Ollama插件
• Logseq Ollama插件
• NotesOllama（Apple Notes的Ollama插件）
• Dagger聊天机器人
• Discord AI机器人
• Ollama Telegram机器人
• Hass Ollama对话
• Rivet插件
• Obsidian BMO聊天机器人插件
• Cliobot（支持Ollama的Telegram机器人）
• Obsidian Copilot插件
• Obsidian本地GPT插件
• Open Interpreter
• Llama编码器（使用Ollama的Copilot替代品）
• Ollama Copilot（允许您像GitHub Copilot一样使用Ollama的代理）
• twinny（使用Ollama的Copilot和Copilot聊天替代品）
• Wingman-AI（使用Ollama和Hugging Face的Copilot代码和聊天替代品）
• 页面助手（Chrome扩展程序）
• Plasmoid Ollama控制（KDE Plasma扩展，允许您快速管理/控制Ollama模型）
• AI Telegram机器人（使用Ollama后端的Telegram机器人）
• AI ST完成（支持Ollama的Sublime Text 4 AI助手插件）
• Discord-Ollama聊天机器人（通用TypeScript Discord机器人，附有调整文档）
• ChatGPTBox：一站式浏览器扩展附集成教程
• Discord AI聊天/审查机器人 用Python编写的聊天/审查机器人。使用Ollama创建个性。
• 无头Ollama（自动在任何操作系统上安装Ollama客户端和模型的脚本，适用于依赖于Ollama服务器的应用程序）
• Terraform AWS Ollama & Open WebUI（一个Terraform模块，用于在AWS上部署可用的Ollama服务，以及其前端Open WebUI服务。）
• node-red-contrib-ollama
• 本地AI助手（Chrome和Firefox扩展，启用与活动选项卡和可定制API端点的交互。包括用户提示的安全存储。）
• vnc-lm（通过Ollama和LiteLLM进行消息传递的Discord机器人。无缝在本地和旗舰模型之间切换。）
• LSP-AI（用于AI功能的开源语言服务器）
• QodeAssist（Qt Creator的AI编码助手插件）
• Obsidian测验生成器插件
• AI摘要助手插件
• TextCraft（使用Ollama的Copilot in Word替代品）
• Alfred Ollama（Alfred工作流）
• TextLLaMA 一个Chrome扩展，帮助您撰写电子邮件、纠正语法并翻译成任何语言
• Simple-Discord-AI
• LLM Telegram机器人（主要用于角色扮演的telegram机器人，Oobabooga-like按钮，A1111 API集成等）
• mcp-llm（MCP服务器，允许LLM调用其他LLM）

支持的后端

• llama.cpp 由Georgi Gerganov创立的项目。

可观测性

• Opik 是一个开源平台，用于调试、评估和监控您的LLM应用程序、RAG系统和代理工作流，具有全面的跟踪、自动评估和生产就绪的仪表板。Opik支持对Ollama的本地集成。
• Lunary 是领先的开源LLM可观测性平台。它提供了各种企业级功能，如实时分析、提示模板管理、PII遮掩和全面的代理跟踪。
• OpenLIT 是一个OpenTelemetry原生工具，用于使用跟踪和指标监控Ollama应用程序和GPU。
• HoneyHive 是一个用于AI代理评估和评估的平台。使用HoneyHive评估代理性能、调查失败并在生产中监控质量。
• Langfuse 是一个开源LLM可观测性平台，使团队能够协作监控、评估和调试AI应用程序。
• MLflow跟踪 是一个开源LLM可观测性工具，具有方便的API来记录和可视化跟踪，使调试和评估生成AI应用程序变得简单。