windows环境(非docker)中利用Ollama和open webui部署运行大模型

 1. ollama 下载安装：

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

 

安装完成后可以在cmd命令提示符窗口中输入ollama -v查看是否安装好。

输入ollama run llama3可以直接下载llama3大模型并运行进行对话，默认是llama3:latest版本，8b的一个版本。该模型只能进行文本对话。

2. open webui下载安装

🚀 Getting Started | Open WebUI

官方文档推荐使用docker安装，这里我使用非docker的方式安装

 2.1 安装node.js

下载 | Node.js 中文网 (nodejs.cn)

我直接安装的最新版本20.12.2

2.2 安装npm

node.js 20.12.2版本需要npm版本10.5.0，较低版本后续配置open webui时会报错，通常配置过程中报错都是版本依赖问题。

由于本地已经有较低npm版本了，因此这里我就通过命令直接更新到指定版本

npm install npm@10.5.0

2.3 根据官方文档配置环境

先用git将源码拉下来并修改配置文件，配置文件中有ollama server端口地址11434，后续运行的命令 npm i以及pip安装依赖都需要在虚拟环境中运行。pip安装依赖过程可能网速会比较慢。

我本地环境中anaconda3版本不是最新的，也没准备直接更新到最新，因此cmd中直接通过conda命令创建的虚拟环境配置的。

conda create -n ollama python=3.11
conda activate ollama

配置好了启动open webui在虚拟环境中执行start_windows.bat，而不是start.sh，因为这里是windows环境。这里需要注意的是首次运行时会连接官网https://huggingface.co在线安装transformers库，由于国内被墙这里会报错。我这里是通过科学上网的方式下载的，据说有国内源可以下载，这里我就不在介绍了。错误如下

3. open webui界面以及相关设置

需要先创建帐号登录

设置汉语界面，右上角进去设置

然后选择模型创建对话，这里我只下载了一个llama3模型。

下载新模型，这里应该是调用的ollama api下载的模型，实际和ollama pull <模型名>没什么区别。模型文件中也可以下载由open webui社区提供的模型。

ollama支持的模型可点击上面链接查看。