Ollama+OpenWeb UI搭建最简单的大模型交互界面

最新推荐文章于 2024-08-23 09:43:55 发布

DataQueenbee

最新推荐文章于 2024-08-23 09:43:55 发布

阅读量127

点赞数

文章标签： ui 交互

Open WebUI是一个专为大型语言模型（LLMs）设计的Web用户界面。这个界面提供了一个直观、响应迅速且易于使用的平台，使用户能够与本地运行的语言模型进行交互，就像与云服务中的模型交互一样。可以非常方便的调试、调用本地模型。你能用它连接你在本地的大语言模型（包括 Ollama 和 OpenAI 兼容的 API），也支持远程服务器。Docker 部署简单，功能非常丰富，包括代码高亮、数学公式、网页浏览、预设提示词、本地 RAG 集成、对话标记、下载模型、聊天记录、语音支持等。

前面的博文《centos上部署Ollama平台，实现语言大模型本地部署》中已经实现Ollama的部署。这里分享一下，如何在已有Ollama的基础上，快速搭建一个调试界面。这里使用的是OpenWeb UI。可以基于源码自己搭建，需要使用到node.js与python；也可以基于docker部署，缺点就是慢，特别容易超时，我自己都下载了两天。

拉取镜像

如果经常超时，可以加一下下面的代理

{
    "registry-mirrors": [
	    "https://docker.m.daocloud.io",
        "https://docker.fxxk.dedyn.io",
        "https://dockerproxy.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://docker.nju.edu.cn",
        "https://mirror.baidubce.com",
        "https://docker.mirrors.sjtug.sjtu.edu.cn",
		"http://hub-mirror.c.163.com",
		"https://registry.docker-cn.com",
		"https://docker.mirrors.ustc.edu.cn"
    ]
}

我这个过程，一直在超时，两天的时间，一直在重复执行这个命令

启动docker

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

这里我的OpenWeb UI与Ollma部署在同一台机器上
如果不是同一台可以运行下面命令

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://192.168.2.172:11434/api -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

启动后，浏览器访问机器的3000端口，即可进入OpenWeb UI界面，第一次访问需要注册

Ollama+OpenWeb UI搭建最简单的大模型交互界面_大模型