LLMs：Text generation web UI/text-generation-webui(一款帮助LLMs实现本地化部署和微调的GUI界面式工具，非CLI式)的简介、安装、使用方法之详细攻略

LLMs：Text generation web UI/text-generation-webui(一款帮助LLMs实现本地化部署和模型微调的GUI界面式工具，非CLI式)的简介、安装、使用方法之详细攻略

目录

Text generation web UI的简介

Text generation web UI的安装

第一步、安装程序

T1、一键安装程序

T2、使用 Conda 进行手动安装

0、安装 Conda

1、创建新的 conda 环境

2、安装 Pytorch

2.1 附加信息

3、安装 Web UI

在 AMD、Metal 和一些特定的 CPU 上使用 llama.cpp

在旧款 NVIDIA GPU 上的 bitsandbytes

T3、备选方法：Docker

更新要求

第二步、下载模型

GPT-4chan

第三步、启动 Web UI服务

基本设置

模型加载器

第四步，界面展示及其用法

1、Text generation

(1)、模型加载进行推理测试

2、Chat settings

3、Parameters

4、Model

(1)、下载并加载最新模型

5、Training

(1)、利用LoRA技巧训练模型

6、Session

Text generation web UI的使用方法

1、基础用法：text-generation-webui documentation

加速/transformers

加速 4 位

GGML（用于 llama.cpp 和 ctransformers）

llama.cpp

Ctransformers

AutoGPTQ

ExLlama

GPTQ-for-LLaMa

DeepSpeed

RWKV

RoPE（用于 llama.cpp、ExLlama 和 transformers）

Gradio

API

多模态

2、进阶用法

LLMs之LLaMA2：基于text-generation-webui工具来本地部署并对LLaMA2模型实现推理执行对话聊天问答任务(一键安装tg webui+手动下载模型+启动WebUI服务)、同时微调LLaMA2模型(采用Conda环境安装tg webui+PyTorch→CLI/GUI下载模型→启动WebUI服务→GUI式+LoRA微调→加载推理)之图文教程详细攻略

LLMs之LLaMA2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、同时微调LLaMA2模型(配置云端环境【A100】→下载数据集【datasets】→加载模型【transformers】→分词→模型训练【peft+SFTTrainer+wandb】→基于HuggingFace实现云端分享)之图文教程详细攻略

---

Text generation web UI的简介