开源项目 `text-generation-webui` 使用教程

开源项目 text-generation-webui 使用教程

text-generation-webuiA Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.项目地址:https://gitcode.com/gh_mirrors/te/text-generation-webui

1. 项目的目录结构及介绍

text-generation-webui 项目的目录结构如下：

text-generation-webui/
├── start_linux.sh
├── start_windows.bat
├── start_macos.sh
├── start_wsl.bat
├── requirements.txt
├── README.md
├── LICENSE
├── scripts/
│   ├── install.sh
│   ├── run.sh
│   └── ...
├── models/
│   ├── model1/
│   ├── model2/
│   └── ...
├── config/
│   ├── config.yaml
│   └── ...
└── ...

目录结构介绍

• start_linux.sh, start_windows.bat, start_macos.sh, start_wsl.bat: 不同操作系统的启动脚本。
• requirements.txt: 项目依赖的 Python 包列表。
• README.md: 项目说明文档。
• LICENSE: 项目许可证文件。
• scripts/: 包含安装和运行脚本。
• models/: 存放模型的目录。
• config/: 配置文件目录。

2. 项目的启动文件介绍

项目的启动文件主要包括以下几个：

• start_linux.sh: 用于 Linux 系统的启动脚本。
• start_windows.bat: 用于 Windows 系统的启动脚本。
• start_macos.sh: 用于 macOS 系统的启动脚本。
• start_wsl.bat: 用于 WSL (Windows Subsystem for Linux) 的启动脚本。

启动文件介绍

这些启动脚本主要负责安装依赖、配置环境并启动 Web UI。用户可以根据自己的操作系统选择相应的启动脚本运行。

3. 项目的配置文件介绍

项目的配置文件主要位于 config/ 目录下，其中最重要的配置文件是 config.yaml。

配置文件介绍

config.yaml 文件包含以下主要配置项：

• model: 指定默认加载的模型名称。
• lora: 指定加载的 LoRA 列表。
• api_port: API 服务的端口号。
• api_key: API 密钥。
• admin_key: 管理员密钥。
• multi_user: 是否启用多用户模式。

配置文件示例

model: "default_model"
lora:
  - "lora1"
  - "lora2"
api_port: 7860
api_key: "your_api_key"
admin_key: "your_admin_key"
multi_user: false

通过修改 config.yaml 文件，用户可以自定义项目的运行参数和行为。

---

以上是 text-generation-webui 项目的基本使用教程，包括项目的目录结构、启动文件和配置文件的介绍。希望这些信息能帮助你更好地理解和使用该项目。

text-generation-webuiA Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.项目地址:https://gitcode.com/gh_mirrors/te/text-generation-webui