在 AI 浪潮下,大语言模型(LLMs)展现出令人惊叹的能力。但很多人在使用时会受限于云端调用的成本和隐私问题。今天就给大家介绍一个开源神器 ——Ollama,它能让你在本地轻松运行、部署和交互 LLMs,无论是开发、研究还是日常体验都超实用。
一、Ollama 是什么
Ollama 是一款开源工具,它简化了在本地计算机上运行、部署和交互大型语言模型的流程。支持 LLaMA 2、Mistral、Gemma 等多种模型,为开发者和研究者提供了便捷的本地实验和 AI 应用开发环境。
二、安装 Ollama
(一)支持平台及安装方式
- macOS:有两种安装方式,既可以直接下载安装包,也能借助 Homebrew 快速安装,在终端输入
brew install ollama
即可。 - Linux:使用一键安装脚本就能搞定,在终端运行
curl -fsSL https://ollama.ai/install.sh | sh
。 - Windows(预览版):需要从 Ollama 官网下载安装程序进行安装。
(二)启动服务
安装完成后,Ollama 会在后台自动运行,默认端口是 11434。通过下面的命令可以管理服务:
ollama serve
:启动服务。ollama list
:查看已下载的模型。