本地化部署自建类ChatGPT服务远程访问

Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面，不仅可以提高使用效率，还可满足私有化部署，或对模型进行自定义。目前，该Web UI已经支持了许多流行的语言模型，包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等.

而且，Text generation web UI部署非常简便，不仅在github主页上直接提供了一键部署安装包，同时由于是web UI形式,直接通过浏览器即可操作,不过本地化部署,无法远程访问,这里我们结合cpolar内网穿透工具实现从安装到运行最后实现远程访问.

系统环境

*Windows 10

*Python 3.11.4

1. 安装Text generation web UI

在github界面下载压缩包,这里以windows系统为例

https://github.com/oobabooga/text-generation-webui

使用windows系统,我们下载windows压缩包

下载后,这里注意:存放目录的路径不能有空格,然后点击start_windows.bat启动安装

在安装过程中会提示选择显卡类型,根据电脑配置正常选择即可,然后等待下载,下载大小2个GB左右大小资源

2. 安装依赖

上面安装后会出现两个文件夹,可以看到其中一个是text-generation-webui 名称文件夹,我们点击cmd_windows.bat打开cmd命令行