text-generation-webui 安装和配置指南

text-generation-webui 安装和配置指南

text-generation-webui A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models. 项目地址: https://gitcode.com/gh_mirrors/te/text-generation-webui

1. 项目基础介绍和主要编程语言

项目基础介绍

text-generation-webui 是一个用于大型语言模型的 Gradio Web UI。它的目标是成为文本生成领域的 AUTOMATIC1111/stable-diffusion-webui。该项目支持多种文本生成后端，包括 Transformers、llama.cpp、ExLlamaV2、AutoGPTQ 和 TensorRT-LLM 等。它还提供了一个与 OpenAI 兼容的 API 服务器，支持 Chat 和 Completions 端点。

主要编程语言

该项目主要使用 Python 编程语言。

2. 项目使用的关键技术和框架

关键技术和框架

• Gradio: 用于构建 Web UI。
• Transformers: 用于加载和使用各种大型语言模型。
• llama.cpp: 通过 llama-cpp-python 支持的文本生成后端。
• ExLlamaV2: 另一个文本生成后端。
• AutoGPTQ: 支持的文本生成后端。
• TensorRT-LLM: 支持的文本生成后端。
• Jinja2: 用于自动提示格式化。

3. 项目安装和配置的准备工作和详细的安装步骤

准备工作

1. 操作系统: 该项目支持 Linux、Windows 和 macOS。
2. Python 环境: 建议使用 Python 3.11。
3. Git: 用于克隆项目仓库。
4. Conda (可选): 用于创建和管理 Python 环境。

安装步骤

步骤 1: 克隆项目仓库

首先，使用 Git 克隆项目仓库到本地：

git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui

步骤 2: 创建并激活 Conda 环境（可选）

如果你选择使用 Conda 管理环境，可以按照以下步骤操作：

conda create -n textgen python=3.11
conda activate textgen

步骤 3: 安装依赖

根据你的 GPU 类型选择合适的依赖文件进行安装。以下是一些常见的依赖文件：

• NVIDIA GPU (有 AVX2): requirements.txt
• NVIDIA GPU (无 AVX2): requirements_noavx2.txt
• AMD GPU: requirements_amd.txt
• CPU 仅 (有 AVX2): requirements_cpu_only.txt
• CPU 仅 (无 AVX2): requirements_cpu_only_noavx2.txt

例如，如果你使用的是 NVIDIA GPU 并且支持 AVX2，可以运行以下命令：

pip install -r requirements.txt

步骤 4: 启动 Web UI

安装完成后，可以通过以下命令启动 Web UI：

python server.py

启动后，打开浏览器并访问 http://localhost:7860 即可使用 text-generation-webui。

其他注意事项

• 更新项目: 如果你想更新项目到最新版本，可以运行 update_wizard_linux.sh、update_wizard_windows.bat 或 update_wizard_macos.sh 脚本，具体取决于你的操作系统。
• 扩展支持: 该项目支持扩展，你可以在 extensions 目录中找到更多信息。

通过以上步骤，你应该能够成功安装和配置 text-generation-webui，并开始使用它进行文本生成任务。

text-generation-webui A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models. 项目地址: https://gitcode.com/gh_mirrors/te/text-generation-webui