如何使用Ollama在本地部署大模型

本文主要介绍以下3方面内容 

• 在Windows电脑上使用Ollama部署大模型 

• 使用API与Ollama运行的模型交互 

• 使用可视化界面(Open WebUI)与Ollama运行的模型交互实现类似ChatGPT效果

一 Ollama与模型安装 

1 Ollama安装

Ollama 是一个开源的大型语言模型服务工具，它允许用户在自己的硬件环境中轻松部署和使用大规模预训练模型。

下载地址：https://ollama.com/download

下载后是一个OllamaSetup.exe可执行文件，一路Next直接安装即可。

Tips：如无法下载，后台回复【学习群】，入群获取安装包。

2 环境变量设置

Ollama安装在C盘，后续下载的模型文件默认也是在C盘，可以通过设置环境变量更改模型文件的存储位置，环境变量名：OLLAMA_MODELS

3 模型下载

Ollama支持Llama、Gemma、Qwen、Phi等多个知名开源大模型，详细的模型清单可在官网（https://ollama.com/library）查询。

在上述页面中找到需要安装的模型，点击进入详情页，可以看到该模型不同版本的安装命令，下图为qwen2的示意图。

拷贝上述命令至cmd命令行执行即可，会自动下载并运行该模型，完成后如下图所示。

至此，已经完成安装步骤，可直接在控制台与模型进行问答交互。

4 相关命令

查看本地已安装模型清单
ollama list

卸载某个模型
ollama rm qwen2:0.5b

二 通过API与Ollama模型交互 

对于开发人员来说，可能更关心如何通过API与运行的模型交互。我们简单介绍两个API的使用。

1 简单问答

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2:0.5b",
  "prompt":"Why is the sky blue?"
}'

2 对话模式

curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

关于API的详细使用教程可参考官方文档。

三 安装可视化页面 

Open WebUI是一个开源项目，提供了一个类似于ChatGPT的可视化页面，可与Ollama无缝集成。

项目地址：

https://github.com/open-webui/open-webui

Open WebUI的安装依赖Docker，因此本文从Docker安装开始介绍。

1 Docker下载

在Windows上一般使用Docker Desktop来安装Docker服务。

官方下载地址：

https://docs.docker.com/desktop/install/windows-install/

Tips：可从上面的地址下载安装文件，但是由于某种原因，国内访问该网站可能不太稳定。如无法下载，后台回复【学习群】，入群获取安装包。

2 Docker安装

运行下载的文件，一路Next即可。安装过程中可能会遇到一些报错，根据提示自行解决即可，如遇无法解决的问题可在群里提问获取帮助。

安装完成后，Docker会自动运行，在通知栏会出现鲸鱼的图标，表示Docker正在运行，点击可打开管理控制台。

注意检查Docker的运行状态，可参考下图的标注核对。

3 Open WebUI安装

打开cmd运行以下指令安装

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果与Ollama不再同一台机器上，可以通过OLLAMA_BASE_URL指定Ollama服务地址，完整命令如下（注意地址需要更改为自己的地址）：

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

注意：上述命令会下载安装文件并运行，大概有几个G，需要点时间。安装完成后，可在Docker管理控制台查看状态，如下图所示。

4 访问Open WebUI

安装后默认运行在3000端口，可通过http://localhost:3000/打开页面，如下图所示。

Open WebUI会自动识别已安装的模型。

初次访问，可能会要求创建账号，根据提示处理即可，数据是存储在本地的。

至此，大功告成！点个关注吧！

我们打造了一个大模型学习社群，如果你还在为大模型的复杂知识感到困惑，还在为找不到学习的方向而迷茫，欢迎加入我们，在这里，您能够结识诸多志同道合的伙伴，一同深入探讨，携手共同进步。毕竟，单打独斗可不行！