Streamlit快速构建大模型前端框架

---

前言

Streamlit 是一个开源的 Python 库，专门用于快速构建和共享数据科学和机器学习应用。它允许开发者以极简的方式将 Python 脚本转换为交互式的 Web 应用，无需深入前端开发知识。

一、Streamlit 与 OpenWebUI 对比

1. Streamlit

1，优点：

简单易用：通过简洁的 API 快速将 Python 脚本转换为交互式 Web 应用。
强大的数据可视化：内置丰富的数据可视化组件，适合数据科学家和机器学习工程师。
快速原型开发：适合快速构建和迭代数据应用，修改代码后应用会自动刷新。
社区支持：拥有活跃的社区和丰富的示例。

2，缺点：

不适合复杂应用：不太适合构建具有复杂用户界面或需要频繁更新的大规模数据应用。
有限的 UI 组件：与 React 等前端框架相比，UI 组件较为有限。
状态管理复杂：对于需要复杂用户交互的应用，状态管理可能更具挑战性。
执行效率问题：每次输入更改时会重新运行整个应用程序代码，可能导致效率低下。

2. OpenWebUI

1，优点：

功能丰富：支持多种功能，如响应式设计、Markdown 和 LaTeX 支持、语音/视频通话、网页浏览等。
高度自定义：支持自定义模型、工具和函数，适合需要高度自定义的项目。
离线运行：支持完全离线运行，确保用户数据安全。
多模型支持：可以同时与多种语言模型交互，利用其独特优势。
RAG 集成：支持检索增强生成（RAG），能够将文档交互无缝集成到聊天体验中。

2，缺点：

部署要求高：本地部署对服务器性能和空间要求较高（如剩余内存 > 2G，硬盘空间 > 10G）。
不适合复杂业务逻辑：虽然功能丰富，但在处理复杂业务逻辑时可能不如专业的前端框架。
社区支持有限：相比 Streamlit，OpenWebUI 的社区支持和示例可能较少。

3. 结论

Streamlit 更适合数据科学家和机器学习工程师快速构建数据可视化和交互式分析应用。它简单易用，适合快速原型开发，但在处理复杂用户界面和业务逻辑时可能受限。
OpenWebUI 是一个功能丰富的前端框架，适合需要高度自定义和多种交互功能的项目，尤其是那些需要离线运行和多模型支持的应用。

二、使用步骤

1. 环境搭建

主要就是安装这个包。

pip install streamlit

被访问的，就是LlamaIndex的检索增强生成方式部署的大模型。
就是用本地数据库加大模型，以防止大模型的幻觉，给与正确的引导。
详细代码可以参考

链接: RAG

2. 初始化模型

可以去魔塔社区下载模型，然后初始化。

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B')

3. 读取数据

使用SimpleDirectoryReader函数,可以读取本地各种格式数据,比如txt,pdf,word,md等等.

4. 开启会话

query_engine加载查询引擎

5. 配置系统信息

st.session_state.messages就是给系统的,当一开始启动后,系统就先发出来一个消息,主动问候人类.

三、代码展示

import streamlit as st
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.huggingface import HuggingFaceLLM

st.set_page_config(page_title="llama_index_demo"