基于Windows部署Ollama本地运行大模型

最新推荐文章于 2024-07-03 16:35:33 发布

乐清_hyq

最新推荐文章于 2024-07-03 16:35:33 发布

阅读量451

点赞数 3

分类专栏：人工智能文章标签：人工智能语言模型

本文链接：https://blog.csdn.net/weixin_44390344/article/details/139909395

版权

人工智能专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1. 下载并Ollama客户端

从ollama官网下载Windows版本的OllamaSetup.exe
下载好后双击并安装

2. 修改环境变量（可选）

2.1 修改模型存储位置

若不修改，模型默认存储在C:\Users\%username%\.ollama\models
可通过设置环境变量OLLAMA_MODELS为自定义存储路径来修改模型存储位置
win11：设置->系统->高级系统设置->环境变量
新建环境变量，变量名为OLLAMA_MODELS，变量值为自定义存储路径
例：
设置模型存储位置

3. 运行大模型

运行命令

ollama run <模型名>

模型可以通过ollama官方模型列表查看
ollama模型列表
例：

// llama3，meta，有8b（80亿参数）和70b两种参数大小的
ollama run llama3:8b
// gemma，google，有2b和7b两种参数大小的
ollama run gemma
// mistral，法国mistral AI，有7b参数大小的
ollama run mistral
// 通义千问，阿里，有0.5b，1.5b，7b，72b四种参数大小的
ollama run qwen2
// phi3，微软，有3b，14b两种参数大小的
ollama run phi3
// llava-llama3，有8b参数大小的，支持视觉输入
ollama run llava-llama3

执行运行命令后，ollama首先会加载模型，加载成功后可通过命令行进行对话（图中llava-llama3模型支持图片输入，输入问题后直接将图片拖入命令行即可）
命令行对话
通过ollama list可以查看当前已加载的模型（系统重启后需要重新加载）
ollama已加载模型

4. 搭建用户界面

命令行不方便交互，我们可以通过OpenWebUI搭建和ChatGPT类似的网页
OpenWebUI guide

4.1 Docker部署

官网提供了比较方便的通过Docker部署的方法，执行以下命令来运行OpenWebUI（首先要在Windows配置Docker环境）：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

4.2 源码nodejs编译

如果不方便配置Docker环境，可下载源码后通过nodejs编译

版本要求：
🐰 Node.js >= 20.10
🐍 Python >= 3.11
安装和运行

git clone https://github.com/open-webui/open-webui.git
cd open-webui/

# Copying required .env file
cp -RPp .env.example .env

# Building Frontend Using Node
npm i
npm run build

# Serving Frontend with the Backend
cd ./backend
pip install -r requirements.txt -U
start_windows.bat

然后在浏览器中打开http://localhost:8080/即可开始使用
openwebui页面
点击下拉菜单，选择模型

开始对话
大模型对话