如何轻松为你的本地LLM项目设置简洁的用户界面

使用 Open WebUI 在本地运行 Llama3 的分步指南。欢迎来到雲闪世界。

添加图片注释，不超过 140 字（可选）

. 为什么选择本地LLM

无论是由于公司限制还是希望安全地处理个人数据，许多人都因数据隐私问题而避免使用 ChatGPT。

幸运的是，有一些解决方案允许无限制使用 LLM，而无需将敏感数据发送到云端。

在本文中，我将解释如何在几分钟内通过简洁的用户界面使本地 LLM 的使用更加用户友好！

因此，本文实际上是后续文章，我将逐步解释如何通过类似 ChatGPT 的用户界面（Open WebUI）运行本地 LLM。 剧透警告：它非常简单！

#2 Open WebUI 简要概述 Open WebUI 是一个用于在本地运行 AI 模型的开源界面。它允许你通过 Web 浏览器与你的 LLM 聊天，就像使用 ChatGPT 一样。 它与各种不同的 LLM 兼容，并且拥有一个非常活跃的社区，确保解决方案与最新模型保持同步。 界面非常简洁，用户友好，使用起来非常直观。甚至可以在本地模型之间切换并微调其超参数。

添加图片注释，不超过 140 字（可选）

有希望！

#3 安装 Docker 好吧，我们确实讨论了 Open WebUI，那么 Docker 在这里做什么？ Docker 可让您在本地计算机上的隔离“容器”中轻松运行应用程序。这简化了软件安装并确保在不同环境中一致、可靠的执行。 换句话说，这就是我们运行 Open WebUI 所需要的。 要下载 Docker，只需访问docker.com并单击下载：

添加图片注释，不超过 140 字（可选）

下载完成后，与任何其他应用程序一样，只需按照非常简单的安装步骤即可。 步骤 1/2： 1-将docker应用程序拖到你的应用程序文件夹中进行安装 2-接受Docker 服务协议

添加图片注释，不超过 140 字（可选）

步骤 3/4： 3- 您可以根据需要创建一个 Docker 帐户，也可以跳过此部分，在我们的例子中，这不是必需的 4-最后，按照推荐的设置完成Docker Desktop的安装

添加图片注释，不超过 140 字（可选）

在此阶段，docker 现在已经安装并且应该看起来像这样（出于显而易见的原因，我立即切换到暗模式）：

Docker Desktop 主页

您现在可以最小化 Docker，因为下一步是安装 Open WebUI！

#4 安装 Open WebUI 要安装 Open WebUI，请转到https://docs.openwebui.com/： 如果你稍微向下滚动，你会找到推荐的安装部分（通过 Docker）：

打开 WebUI 开源文档

您所追求的就是我在这里用红色突出显示的命令。 docker run -d -p 3000:8080 — add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data — name open-webui — 始终重启 ghcr.io/open-webui/open-webui:main 只需在终端运行该命令就会下载 Open WebUI Docker 映像并运行它：

通过终端安装 Open WebUI

如果您现在返回 Docker Desktop（之前已最小化），您将看到此容器正在运行：

通过 Docker 运行的开放式 WebUI

打开 WebUI 开源文档#5 运行 Open WebUI 在 Docker Desktop 中，如果你点击“端口”列中的 3000:8080 链接，它将在你的 Web 浏览器中打开以下 URL： http://localhost:3000/auth 您应该会看到登录页面。 Open WebUI 要求您在使用前进行注册。注册完成后，您只需登录即可：

运行 Open WebUI 时的登录页面

一旦登录，您将进入 Open WebUI 的主页面，运行在 localhost:3000，它看起来应该像这样：

打开在 localhost:3000 上运行的 WebUI

下一步也是最后一步是通过左上角的下拉菜单选择一个模型。它显示了之前通过 Ollama 下载的所有模型的列表。 就我而言，我只下载了 llama3 8B，所以我要使用它。

在 Open WebUI 中选择模型

剩下要做的最后一件事就是使用它！

通过 Open WebUI 界面使用 Llama3

模型的响应时间通常取决于计算机的 GPU/RAM。

#6 总结 总而言之，为了在您的计算机上本地运行 LLM（例如 Llama 3）并通过简洁的用户界面（Open WebUI）运行，您需要：

1. 在您的计算机上安装 Ollama

2. 下载 Llama 3（或任何其他开源 LLM）

3. 在你的计算机上安装 Docker

4. 通过 Docker 在本地安装并运行 Open WebUI

5. 通过 Open WebUI 界面运行 Llama 3

#7 最后的想法 本文的目的是强调通过 Open WebUI 运行本地 LLM 的简单性。 我只是触及了皮毛，因为 Open WebUI 能做的远不止运行模型。通过此工具，您可以轻松上传文件、生成图像或向模型提供您自己的知识库。 值得深思。

感谢关注雲闪世界。（Aws解决方案架构师vs开发人员&GCP解决方案架构师vs开发人员）