linux系统部署ollama、open-webui

算力平台

本文章基于厚德云算力

部署方式

ollama是使用官方 curl -fsSL https://ollama.com/install.sh | sh 
open-webui是docker启动，docker正常启动，使用github推荐的

一、安装ollama

1、命令行下载并执行

下载地址：https://ollama.com/download/linux

curl -fsSL https://ollama.com/install.sh | sh

如果出现curl: (22) The requested URL returned error: 404，可多尝试几次

多次也无法下载的，需要使用github加速器

ollama解决国内下载慢的问题/国内下载/镜像_ollama国内镜像源-CSDN博客

2、查看是否安装成功

ollama

3、常用命令

ollama ps 查看正在运行的模型
ollama list 查看已经下载的模型列表
ollama help 查看ollama相关命令

4、运行模型

以千问大模型为例，包括拉取模型和启动

ollama run qwen2:7b

ollama模型库：https://ollama.com/library

https://ollama.com/library/qwen2

运行结果

5、查看服务

 netstat -tnlp

6、修改配置文件

默认ollama绑定在127.0.0.1的11434端口，修改/etc/systemd/system/ollama.service，在[Service]下添加如下内容，使ollama绑定到0.0.0.0的11434端口，这样就可以远程访问，openwebui即便是在docker中部署也可以访问到

Environment="OLLAMA_HOST=0.0.0.0"

7、重新启动服务

sudo systemctl daemon-reload
sudo systemctl restart ollama

7、设置外网

使用厚德云设置自定义端口

8、外网浏览器验证

在windows浏览器中输入：

http://deq1.dc.houdeyun.cn:63392/

9、使用ollama的rest api

查看大模型

http://deq1.dc.houdeyun.cn:63392/api/tags

http使用大模型

curl http://127.0.0.1:11434/api/generate -d '{"model": "qwen2:7b","prompt": "你是谁?","stream": false}'

10、编码实现API调用

编写python代码并测试

import requests

url = 'http://deq1.dc.houdeyun.cn:63392/api/generate'
data = {
    'prompt': '你是谁？',
    'model': 'qwen2:7b',
    'stream': False
}

resp = requests.post(url, json=data)
print(resp.text)

二、安装openwebui

官网：https://openwebui.com/#open-webui-community

1、安装docker

apt install podman-docker
apt install docker.io

2、启动Docker

systemctl start docker
systemctl enable docker

3、Docker启动open-webui

官网推荐部署

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

此处仍需要修改openwebui与ollama关联，使用如下命令

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui1 --restart always ghcr.io/open-webui/open-webui:main

• docker run: 启动一个新的 Docker 容器。
• -d: 以守护进程模式运行容器，容器将在后台运行。
• -p 3000:8080: 将本地机器的端口 3000 映射到容器内的端口 8080。这意味着你可以通过访问 http://localhost:3000 来访问运行在容器内的服务。
• --add-host=host.docker.internal:host-gateway: 将主机名 host.docker.internal 映射到 Docker 网关。这对于在容器内访问主机服务很有用。
• -v open-webui:/app/backend/data: 将本地的 open-webui 卷映射到容器内的 /app/backend/data 目录。这用于持久化数据，确保即使容器停止或重新启动，数据也不会丢失。
• --name open-webui: 为容器指定一个名称 open-webui，以便于管理和识别。
• --restart always: 设置容器的重启策略为 always，这意味着容器如果停止（例如由于崩溃或系统重启），Docker 会自动重启它。
• ghcr.io/open-webui/open-webui:main: 使用来自 GitHub 容器注册表（GitHub Container Registry）的 open-webui 镜像，并指定使用 main 标签的版本。

4、设置外网端口

5、浏览器打开网址

Open WebUIOpen WebUIhttp://zhy1.dc.houdeyun.cn:51372/auth

FAQ

1、pen-webui无法链接ollama 报错ERROR:apps.ollama.main:Connection error: Cannot connect

https://www.cnblogs.com/qumogu/p/18235298

参考文档

linux安装ollama和open-webui_wx61d7ee3732aae的技术博客_51CTO博客

ollama+open-webui，本地部署自己的大模型_python_spiderwower-开放原子开发者工作坊

linux下安装node_linux 安装 node 14-CSDN博客

[AI]Linux部署Ollama+Open-WebUi_linux ollama webui-CSDN博客

ollama大模型框架入门教程-open-webui安装 - 创客智造

https://www.cnblogs.com/farwish/p/18156478

百度安全验证

Ollama官网：https://ollama.com/

Ollama 代码仓库：https://github.com/ollama/ollama

Ollama 中文文档：https://ollama.qianniu.city/index.html

Ollama 中文网：在 Linux 上安装 - Ollama中文网

https://zhuanlan.zhihu.com/p/712360292
https://blog.csdn.net/qq_39314567/article/details/138651990
https://blog.csdn.net/weimeilayer/article/details/139267295