快速上手Gork,使用OpenWeb-UI接入Gork
OpenWeb-ui
项目地址:https://github.com/open-webui/open-webui
Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线运行。它支持各种 LLM 运行器,包括 Ollama 和 OpenAI 兼容 API。
使用Ollama就可以运行本地的LLM模型,今天接入Gork则是使用到了OpenAI兼容的API。
快速部署OpenWeb-UI
先创建一个python 3.11版本的环境
conda create -n chat python=3.11
安装OpenWeb-UI
pip install openweb-ui -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple # 使用pip清华镜像源,如已设置pip代理,请去处-i 以及后面的参数
使用Docker部署Ollama以及OpenWeb-UI
如已安装Ollama,部署OpenWeb-UI
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
未安装Ollama,部署Ollama,OpenWeb-UI
# 使用GPU
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
# 使用CPU
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
OpenWebUI接入Gork
conda activate chat # chat为刚刚创建的环境名称
open-webui serve # 启动openWeb-UI
浏览器打开127.0.0.1:8080,会出现OpenWebUI的界面。注册一个管理员账户。下面的图片是我已经注册好了,登录即可。
接入Gork的API,在gork官网(x.ai)注册并申请API,目前每个月赠送25美刀额度,填入地址以及API密钥即可。
完成。
也可以接入国内的一些模型的API,比如Deepseek之类的。