Open WebUI部署自己的大模型

相关代码地址见文末

1. 概述

Text Generation WebUI 是一个基于网页的界面，提供使用不同语言模型（如Transformers、Llama、ExLlamav2等）进行文本生成的功能。该软件支持以下主要功能：

• 模型加载：支持从多种框架加载单个或多个LoRA。
• LoRA微调：在支持的加载器上进行低秩适配微调，优化大语言模型。
• 多模态支持：处理文本、图像等多种输入模式。
• 困惑度评估：评估模型生成文本的复杂度。

2.聊天界面

Chat Tab 是 Text Generation WebUI 中用于多轮对话的核心界面，提供了多种与模型互动