AI大模型之旅--本地Ollama部署

Ollama 是一个本地推理框架，允许开发人员轻松地在本地部署和运行 LLM
例如 Llama 3、Mistral 和 Gemma
Ollama 提供了一种简单的方法来部署 LLM 到本地环境。您可以使用 Ollama 的命令行界面或图形界面来完成此操作。

安装部署：

1.下载并且安装
官网下载地址 ：https://ollama.com/download/linux

curl -fsSL https://ollama.com/install.sh | sh

2.# sudo vim 打开编辑器

sudo vim /etc/systemd/system/ollama.service

Environment之后增加一个"OLLAMA_HOST=0.0.0.0

3.命令行界面
要使用命令行界面部署 LLM，您可以使用以下命令：
ollama pull
例如，要部署 Llama 3 模型，您可以使用以下命令：

ollama pull llama3

web界面ollama-webUI

ollama-webUI 提供一个空架子界面，没有后台模型，它只是一个摆设，不能生成任何响应；而ollama只提供一个可调用的模型接口，同样的，没有图形化的UI，大模型的使用效果大大折扣。因此必须将UI类项目与模型接口类项目联动起来，才能得到我们自己的“ChatLlama

1.docker部署，如下下载ollama webUI界面

sudo docker run -d -p 3333:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

执行完成启动起来界面如下

可以在如下界面选择下载模型

2.如果显示无法下载，则代表web-ui和ollama没有连接成功
看下docker 日志
sudo docker logs --tail 200 -f 7c31c72f48f6
报错如下：
ERROR [apps.ollama.main] Connection error: Cannot connect to host host.docker.internal:11434 ssl:default [Connection refused]
INFO: 127.0.0.1:43394 - “GET /health HTTP/1.1” 200 OK
INFO [apps.openai.main] get_all_models()
INFO [apps.ollama.main] get_all_models()
ERROR [apps.ollama.main] Connection error: Cannot connect to host host.docker.internal:11434 ssl:default [Connection refused]
INFO: 127.0.0.1:42198 - “GET /health HTTP/1.1” 200 OK

需要增加如下配置

sudo vim /etc/systemd/system/ollama.service

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

如下

然后重启后，应该就可以看见了

systemctl daemon-reload
systemctl restart ollama

关于ollama的命令

1.进入llama3运行环境：

ollama run llama3

2.启动服务：

ollama serve

3.重启ollama

systemctl daemon-reload
systemctl restart ollama

4.关闭

lsof -i :11434
kill <PID>