项目推荐：text-generation-webui

项目推荐：text-generation-webui

text-generation-webui A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models. 项目地址: https://gitcode.com/gh_mirrors/te/text-generation-webui

1. 项目基础介绍和主要编程语言

text-generation-webui 是一个基于 Gradio 的 Web UI 项目，专门用于大型语言模型（Large Language Models, LLMs）的文本生成。该项目的主要编程语言是 Python，它利用了多种 Python 库和框架来实现其功能。

2. 项目核心功能

该项目的主要功能包括：

• 多后端支持：支持多种文本生成后端，包括 Transformers、llama.cpp（通过 llama-cpp-python）、ExLlamaV2、AutoGPTQ 和 TensorRT-LLM 等。
• OpenAI 兼容 API：提供与 OpenAI 兼容的 API 服务器，支持 Chat 和 Completions 端点。
• 自动提示格式化：使用 Jinja2 模板自动格式化每个模型的提示。
• 多种聊天模式：支持三种聊天模式：instruct、chat-instruct 和 chat，适用于不同的对话场景。
• 历史聊天管理：提供“Past chats”菜单，方便用户在不同对话之间快速切换。
• 自由文本生成：在 Default/Notebook 标签中进行自由文本生成，不受聊天轮次的限制。
• 模型切换：通过 UI 轻松切换不同模型，无需重启。
• LoRA 微调工具：提供简单的 LoRA 微调工具，允许用户根据自身数据定制模型。
• 扩展支持：支持多种内置和用户贡献的扩展，增强项目的功能性。

3. 项目最近更新的功能

最近更新的功能包括：

• 新增后端支持：增加了对 AutoAWQ、HQQ 和 AQLM 等后端的支持。
• 改进的 API 功能：增强了 OpenAI 兼容 API 的功能，提供了更多的端点和示例。
• 聊天模式优化：优化了 chat-instruct 模式，自动应用模型的模板，确保高质量输出。
• 扩展功能增强：增加了新的扩展，如 AllTalk TTS 扩展，提供更丰富的功能。
• 安装和更新脚本：改进了安装和更新脚本，简化了用户的使用流程。

通过这些更新，text-generation-webui 项目在功能性和易用性上都有了显著提升，为用户提供了更加强大和灵活的文本生成工具。

text-generation-webui A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models. 项目地址: https://gitcode.com/gh_mirrors/te/text-generation-webui