快速上手Gork,使用OpenWeb-UI接入Gork

快速上手Gork,使用OpenWeb-UI接入Gork

OpenWeb-ui

项目地址:https://github.com/open-webui/open-webui

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI,旨在完全离线运行。它支持各种 LLM 运行器,包括 Ollama 和 OpenAI 兼容 API。
使用Ollama就可以运行本地的LLM模型,今天接入Gork则是使用到了OpenAI兼容的API。

快速部署OpenWeb-UI

先创建一个python 3.11版本的环境

conda create -n chat python=3.11

安装OpenWeb-UI

pip install openweb-ui -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple # 使用pip清华镜像源,如已设置pip代理,请去处-i 以及后面的参数

使用Docker部署Ollama以及OpenWeb-UI

如已安装Ollama,部署OpenWeb-UI

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

未安装Ollama,部署Ollama,OpenWeb-UI

# 使用GPU
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

# 使用CPU
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

OpenWebUI接入Gork

conda activate chat # chat为刚刚创建的环境名称
open-webui serve    # 启动openWeb-UI

启动OpenWebUI
浏览器打开127.0.0.1:8080,会出现OpenWebUI的界面。注册一个管理员账户。下面的图片是我已经注册好了,登录即可。
登录即可
接入Gork的API,在gork官网(x.ai)注册并申请API,目前每个月赠送25美刀额度,填入地址以及API密钥即可。
在这里插入图片描述
完成。
在这里插入图片描述
也可以接入国内的一些模型的API,比如Deepseek之类的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值