Ollama 本地部署 DeepSeek R1 及 Python 运行 open-webui 界面(windows)

DeepSeek R1 + ollama + open-webui 本地部署(windows)

DeepSeek-R1本地部署配置要求

Github地址:https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file

模型规模最低 GPU 显存推荐 GPU 型号纯 CPU 内存需求适用场景
1.5B4GBRTX 30508GB个人学习
7B、8B16GBRTX 409032GB小型项目
14B24GBA5000 x264GB专业应用
32B48GBA100 40GB x2128GB企业级服务
70B80GBA100 80GB x4256GB高性能计算
671B640GB+H100 集群不可行超算/云计算

扩展:

img

上面代表的是什么含义,首先我们知道671B的模型才是基础模型,其余的1.5B、7B、8B等都是蒸馏模型,因此Qwen代表是通义千问模型蒸馏的,Llama是通过Llama模型蒸馏的

DeepSeek-R1 + ollama + open-webui本地部署

1.本次使用的操作系统,以及环境配置

操作系统:windows11

CPU: i7-11800H

内存:16GB

GPU:RTX3050ti 4G显存

2.安装ollama

ollama是一个支持在windows、linux和macos上本地运行的大模型工具

官方网址:Release v0.5.7 · ollama/ollama · GitHub

img

配置环境变量

img

测试是否安装成功,cmd命令行输入ollama

img

3.通过ollama 安装 DeepSeek-R1 8B模型

下载模型网址:deepseek-r1

img

在命令行输入:ollama run deepseek-r1:8b,即可下载相应模型,速度会慢一点

在命令行输入:ollama list,即可查看已经下载好的模型

img

在命令行输入:ollama run deepseek-r1:8b,运行下载好的模型

img

4.安装open-webui,前端对话式网页工具

1)安装node.js

这里我是通过nvm仓库管理node,参考链接:使用nvm管理node多版本(安装、卸载nvm,配置环境变量,更换npm淘宝镜像)_node 版本管理-CSDN博客

官网下载nvm包:https://github.com/coreybutler/nvm-windows/releases

img

在安装目录下配置路径和下载镜像,setting.txt新增两行命令

node_mirror: https://npmmirror.com/mirrors/node/
npm_mirror: https://npmmirror.com/mirrors/npm/

在cmd输入命令行,测试是否安装成功:nvm --version

img

使用 nvm 安装 node 版本,这里我使用的是node.js 20.12.2版本

在cmd输入命令行:nvm install 20.12.2

对应的npm为10.5.0

img

2)使用anaconda 创建用于open-weibu的虚拟环境

参考链接:https://blog.csdn.net/xianfianpan/article/details/143441456

conda create -n ollama python=3.11
conda activate ollama

安装 open-webui

pip install open-webui

启动命令,出现Open-Webui界面i

open-webui serve

img

这里需要注意的是,本地访问http://0.0.0.0:8080会出现无法连接,要换成http://localhost:8080或者http://127.0.0.1:8080

img

5**. ollama + open-webui *+ DeepSeek R1 8B模型使用技巧***

左侧的工作空间,可以将文件上传到知识库中,为模型提供检索材料

deepseek-r1:8b 是通过ollama下载的模型,可以选择多个模型

img


links

https://www.cnblogs.com/REN-Murphy/p/18702762

效果演示

ollama run deepseek-r1:1.5b

在这里插入图片描述

open-webui serve

在这里插入图片描述

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学亮编程手记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值