text-generation-webui大模型部署

1 简介

text-generation-webui是一个挺好用的大模型部署UI，提供了很多便于交互的接口，安装部署好之后将model放置到对应的位置即可在网页访问，若是在服务器部署也可以通过ssh端口转发至公网服务器进行访问。
其中，模型的下载可参考这个教程，比较有效的是利用镜像网站和下载脚本进行下载，还有直接在浏览器中点击下载后再上传服务器。

2 安装

2.1 官方安装

先把库下载到本地

git clone https://github.com/oobabooga/text-generation-webui.git

然后进入文件夹，即可按照官方的教程进行安装，主要是根据系统类型，支不支持AVX指令集，以及是否使用GPU来选择。

2.2 自定义安装

2.2.1 环境

可以不使用官方的一键安装脚本，因为其会新下载一个conda并新建一个环境，并且下载过程会从国外官方的源下载所需要的环境包，比较慢。
首先，激活conda环境，根据平台安装pytorch，如果使用GPU则安装cuda版本的，并且安装cuda相关的库等等，这里不再赘述。
其次，根据GPU与CPU选择对应的依赖文件，例如，支持NVIDIA GPU但不支持AVX2指令集的则选择