Text Generation Web UI 使用教程

Text Generation Web UI 使用教程

text-generation-webuiA Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.项目地址:https://gitcode.com/gh_mirrors/te/text-generation-webui

项目介绍

Text Generation Web UI（简称 TGW 或 "oobabooga"）是一个流行的用于文本生成的 Web 界面，类似于 AUTOMATIC1111/stable-diffusion-webui。它支持多种界面和模型后端，包括 Transformers、llama.cpp（通过 llama-cpp-python）、ExLlamaV2、AutoGPTQ、AutoAWQ、GPTQ-for-LLaMa、CTransformers 和 QuIP#。

项目快速启动

克隆仓库

首先，克隆项目的 GitHub 仓库并进入目录：

git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui

运行启动脚本

根据你的操作系统，运行相应的启动脚本：

• Linux/WSL:

  ./start_linux.sh
  

• Windows:

  start_windows.bat
  

• macOS:

  ./start_macos.sh
  

启动 Web UI 服务

运行以下命令启动 Web UI 服务：

python server.py

然后，在浏览器中访问 http://localhost:7860/?__theme=dark 即可开始使用 Qwen 的 Web UI。

应用案例和最佳实践

角色扮演

TGW 支持角色扮演功能，用户可以在生成的文本中扮演不同的角色，增加互动性和趣味性。

量化模型使用

用户可以使用不同类型的量化模型，以提高性能和效率。

训练 LoRA

TGW 支持 LoRA 训练，用户可以自定义模型并进行微调。

集成扩展

TGW 可以集成如 stable diffusion 和 whisper 等扩展，提供更多功能和可能性。

典型生态项目

Transformers

Transformers 是一个由 Hugging Face 开发的开源库，提供了大量的预训练模型，支持多种 NLP 任务。

llama.cpp

llama.cpp 是一个轻量级的 C++ 库，用于在本地运行大型语言模型，通过 llama-cpp-python 可以在 Python 环境中使用。

AutoGPTQ

AutoGPTQ 是一个自动量化工具，可以自动将模型量化为更小的尺寸，以提高推理速度和减少内存占用。

CTransformers

CTransformers 是一个用于文本生成的 C++ 库，提供了高性能的文本生成功能。

QuIP#

QuIP# 是一个用于交互式文本生成的工具，支持多种模型和后端。

通过这些生态项目，TGW 提供了丰富的功能和灵活性，适用于各种文本生成任务。

text-generation-webuiA Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.项目地址:https://gitcode.com/gh_mirrors/te/text-generation-webui