如何在Windows和Linux系统中通过ollama部署qwen大语言模型，并实现open-webui的访问

一、在Windows和Linux系统中部署Ollama和Qwen模型

1. 安装Ollama

Windows

  a.下载Ollama的Windows安装程序 Ollama for Windows.

  b.双击安装程序，按照提示完成安装。

Linux

  a.打开终端，安装Ollama：

curl -sSfL https://ollama.com/install.sh | sh

  b.安装完成后，添加路径到环境变量

export PATH="$HOME/.ollama/bin:$PATH"

2. 拉取Qwen大语言模型

  a.在终端（Linux）或命令提示符（Windows）中运行以下命令来拉取Qwen模型：

ollama pull qwen2:72b

注意：其他更多模型可见library (ollama.com)如果下载过程中遇到网络问题，可以使用VPN或更换网络环境。

3. 运行Qwen模型

  a.启动Qwen模型：

ollama run qwen2:72b

操作示例

ollama默认127.0.0.1:11434本机访问，外网访问ollama服务

修改、etc/systemd/system/ollama.service

Environment增加一行

Environment="OLLAMA_HOST=0.0.0.0"

二、配置Open Web UI并实现远程访问

1. 安装Open Web UI

如果你使用的是一个现有的Open Web UI，可以跳过这一步。

安装步骤

使用默认配置安装

• 如果 Ollama 在您的计算机上，请使用以下命令：

  docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• 如果 Ollama 位于其他服务器上，请使用以下命令：

  要连接到另一台服务器上的 Ollama，请将 更改为服务器的 URL：OLLAMA_BASE_URL

  docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  • 要运行支持 Nvidia GPU 的 Open WebUI，请使用以下命令：

  docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

安装仅用于 OpenAI API

• 如果您只使用 OpenAI API，请使用以下命令：

  docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装带有捆绑 Ollama 支持的 Open WebUI

此安装方法使用将 Open WebUI 与 Ollama 捆绑在一起的单个容器映像，从而允许通过单个命令简化设置。根据您的硬件设置选择合适的命令：

• 支持 GPU： 通过运行以下命令来利用 GPU 资源：

  docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

• 仅适用于 CPU： 如果您未使用 GPU，请改用以下命令：

  docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

这两个命令都有助于轻松安装 Open WebUI 和 Ollama，确保您可以快速启动并运行所有内容。

3. 访问Web UI

   a. 安装后，您可以访问 Open WebUI at http://localhost:3000，在浏览器中输入服务器的IP地址和端口号

替换localhost为你的服务器的实际IP地址。

通过这些步骤，你已经成功在Windows和Linux系统中部署了Qwen大语言模型，并配置了Open Web UI的远程访问。现在，你可以通过Web UI远程访问并与Qwen模型进行交互。如果有其他需求或问题，可以根据实际情况进行进一步的调整和配置。