基于text- generation- webUI工具创建大模型webUI交互

常用的比较流行的用于大型语言模型 Web UI 的工具如下,它们都具有不错的兼容性和扩展性:

  1. Text-generation-webui: 这是一个功能非常强大的 Gradio Web UI,支持多种模型后端,包括 Transformers、llama.cpp,它具有丰富的扩展功能,如语音输入/输出、翻译。
  2. LLaMA-Factory: 这是一个专注于高效微调和部署大型语言模型的工具,但也提供了 Web UI 界面。它支持多种模型,包括 Qwen 系列模型,并且具有便捷的微调和部署功能

下面以Text-generation-webUI 为例,感受一下web UI 创建的步骤

  • Step1: install or check python/pip/Git package

进入Terminal输入下面指令:

python3 --version                  # 是否会返回python 3.X,表示已经安

pip3 --version                    # 是否会返回pip 25.0.1,表示已经安装

pip3 install -U pip               # 更新pip

pip3 install -U setuptools        # 更新setuptools

sudo apt-get install python3-pip   # Linux系统

brew install python3              # Mac系统

choco install python              # Windows系统

git –-version       # git 是否安装 git version 2.17.1

sudo apt-get install git        # Linux系统

brew install git                # Mac系统

choco install git               # Windows系统

Python手动下载安装:Welcome to Python.org

Git Windows手动下载&#x

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值