本地部署 text-generation-webui

0. 背景

一直喜欢用 FastChat 本地部署大语言模型，今天试一试 text-generation-webui 这个项目。

1. text-generation-webui 介绍

text-generation-webui 适用于大型语言模型的 Gradio Web UI。支持transformers、GPTQ、AWQ、EXL2、llama.cpp (GGUF)、Llama 模型。

它的特点如下，

• 3种界面模式：default (two columns), notebook, chat
• 支持多个模型后端：Transformers、llama.cpp（通过 llama-cpp-python）、ExLlama、ExLlamaV2、AutoGPTQ、AutoAWQ、GPTQ-for-LLaMa、CTransformers、QuIP#。
• 下拉菜单可在不同模型之间快速切换。
• 大量扩展（内置和用户贡献），包括用于真实语音输出的 Coqui TTS、用于语音输入的 Whisper STT、翻译、多模式管道、向量数据库、Stable Diffusion集成等等。有关详细信息，请参阅 wiki 和