本地 AI：如何使用 Ollama 和 OpenWebUI 实现无限制的 LLM 访问

最新推荐文章于 2025-05-07 15:31:43 发布

小禾家的

最新推荐文章于 2025-05-07 15:31:43 发布

阅读量261

点赞数

分类专栏： ollama open webui 文章标签：人工智能

原文链接：https://www.ics.com/blog/cloud-free-ai

版权

ollama 同时被 2 个专栏收录

2 篇文章

订阅专栏

open webui

1 篇文章

订阅专栏

对生成式 AI 感兴趣，但对将数据发送到云犹豫不决？也许您已经在使用 ChatGPT、Claude 或 Google LLM，但一直达到每日限制。也许您的公司限制公共 AI 访问，或者您宁愿避免信用卡上的另一笔经常性费用。好消息？您可以使用 Ollama 和 OpenWebUI 的组合在本地运行许多强大的 AI 模型——没有云、没有限制、没有额外费用！

在下面的文章中，我将简要介绍 Ollama 和 Open WebUI 技术，然后引导您完成所需的设置，以便在本地启动和运行 DeepSeek LLM 和其他技术。首先，简要概述 Ollama 和 Open WebUI。

关于 Ollama 和 Open WebUI

Ollama 是一个开源应用程序，允许用户在自己的计算机上运行大型语言模型（LLM）。LLM 是可以生成和理解类似人类的文本、代码并执行分析任务的 AI 程序。

Open WebUI 是一个开源项目，旨在提供基于 Web 的用户界面，用于与机器学习模型（尤其是 LLM）进行交互。它允许用户通过基于浏览器的界面部署、自定义这些模型并与之交互。OpenWebUI 简化了对文本生成、问答、摘要或其他 AI 驱动的应用程序等任务的访问。

有什么收获呢？

本身没有问题，但您确实需要满足某些硬件要求，其中之一是具有至少 4Gb 专用视频 RAM 的 GPU。在撰写本文时，我和我的团队使用了一台较旧的笔记本电脑，配备 i7-9950 CPU、16 Gb RAM 和具有 4Gb 视频 RAM 的 NVIDIA Quadro T1000。我们的测试系统没有遇到任何问题，但没有尝试任何功能更弱的东西。

通常，系统在视频卡和视频内存方面越强大，LLM 响应就越快。更强大的系统还允许您运行更大的模型，从而提供更好、更准确的响应。

安装

Open WebUI 安装可以通过多种方式完成，包括 Docker。但是，我们选择使用 Ollama、Python 和 Open WebUI 的更传统的安装。让我们开始吧。

安装 Ollama （1/3）

第一步是使用以下 URL 下载并安装 Ollama：Download Ollama on macOS

选择合适的选项，macOS、Linux 或 Windows（我们的选择）。单击“下载适用于 Windows”按钮，然后在您的下载文件夹中找到安装程序。

您可以双击 OllamaSetup.exe 或通过 Windows 命令提示符运行安装程序。对于我们的安装，我们使用了所有默认选项。请注意，Ollama 在端口 11434 上运行。

Ollama 有一个命令行界面。虽然你可以通过这种方式直接与它交互，但没有 Open WebUI，我们只使用它来安装 LLM 模型。以下命令将列出已经安装的模型。对于新安装，将没有。

ollama list

接下来，我们可以安装一个模型。我们将提取（下载）针对有限的计算能力定制的最新 DeepSeek 模型。

ollama pull deepseek-r1:1.5b

这就是我们需要对 Ollama 做的全部工作，尽管你可以尝试命令行界面。只需键入单词 ollama 即可查看选项。

安装 Python（第 2 个，共 3 个）

下一步是安装 Python。建议使用 Python 3.11。如果您尚未安装它，可以在此处获取它并运行安装可执行文件。

https://www.python.org/downloads/release/python-3119/

我们使用了带有所有默认选项的 Windows Installer（64 位）。

https://www.python.org/ftp/python/3.11.9/python-3.11.9-amd64.exe

接下来，最好将虚拟环境与 Python 一起使用，这样您的许多项目就不会相互干扰。我们建议使用以下命令来创建和激活名为 venv 的虚拟环境。请注意，您应该首先创建一个包含所需环境文件的目录。我们将目录命名为 open-webui，但您可以使用任何您喜欢的名称。

cd %USERPROFILE%
mkdir open-webui
cd open-webui

python -m venv venv
venv\Scripts\Activate

您的命令提示符应如下所示。请注意（venv）指示虚拟环境处于活动状态。

安装 Open WebUI（第 3 个，共 3 个）

最后一步是安装 Open WebUI。在安装 Python 的同一 Windows 命令提示符中，使用以下命令安装 Open WebUI。

pip install open-webui

您可以在以下 URL 中获取有关 Open WebUI 的完整详细信息，包括替代安装方法。

https://github.com/open-webui/open-webui

运行 Open WebUI

安装后，您可以通过在相同的 Windows 命令提示符下执行以下命令来启动 Open WebUI

open-webui serve

经过一段时间的配置后，这将在端口 8080 上启动 Open WebUI 服务器。在您最喜欢的 Web 浏览器中，输入以下 UI，您就可以开始聊天会话了。

http://localhost:8080

（请注意，默认情况下它是 http，而不是 https。

您应该看到如下内容：

如果您安装了多个模型，则可能必须首先选择模型。此外，您还可以设置默认模型。

如果一切顺利，您就可以启动并运行，并且可以免费与当地的 LLM 交互。如果是这样，感谢您花时间阅读此博客！如果没有，这里有一些故障排除提示。

故障排除

端口使用情况

默认情况下，Ollama 使用端口 11434，而 Open WebUI 使用 8080。特别是端口 8080，许多应用程序都使用端口，包括 Apache Tomcat、Jenkins 和代理服务器。您可以轻松更改启动命令中使用的端口。例如：

open-webui serve --port 8081

安装其他模型

安装其他模型非常简单。首先转到以下 Ollama URL 以查看所有可用模型：library

单击模型名称链接以了解参数并获取要下载的模型的确切名称。这是 DeepSeek 的示例。请注意，您需要一个提炼模型，它是基础模型的变体，计算密集度较低。最后，您可能会看到命令 ollama run。这将拉取和运行模型。对于 Open WebUI，您应该始终使用 ollama pull，然后它将在 Open WebUI 中自动运行。

由于我们已经安装了 DeekSeek，下面是另一个示例，我们从 Windows 命令提示符中提取 Llama 3.2。

ollama pull llama3.2:1b

要让这个模型显示在 Open WebUI 中，只需刷新你的网页，它就会显示为一个新选项。

Python 的冲突版本

如果您已经安装了 Python，则可能会担心安装 Python 3.11 会导致版本冲突。检查您是否已经安装了 Python 启动器 py。如果没有，您可以将其作为 Python 3.11 的一部分进行安装。使用启动器，您可以按如下方式创建虚拟环境：

py -3.11 -m venv venv

每当虚拟环境被激活时，它都会使用 Python 的 3.11。

最后的思考

通过利用 Ollama 和 OpenWebUI，您可以释放生成式 AI 的强大功能，同时保持对数据的完全控制并避免基于云的限制和成本。无论您是寻求更多灵活性的个人，还是寻求绕过限制性政策的企业，在本地设置 AI 模型都提供了一种无缝、经济高效的替代方案。使用正确的工具和设置，您可以毫不妥协地享受尖端 AI 的好处。