【Windows】Deepseek本地化部署 + Ollama + Chatbox + OpenWeb UI

已于 2025-03-20 12:12:22 修改
阅读量3.4k 收藏 22
点赞数 29
文章标签： windows ui llama chatgpt
于 2025-02-08 11:37:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54648747/article/details/145508198
版权

目录

一、OLLAMA安装并下载Deepseek模型

官网下载OLLAMA：https://ollama.com/
安装OLLAMA

1.1 检查ollama安装是否成功

ollama --version

在这里插入图片描述
能输出版本号（如ollama version is 0.5.7）说明安装成功。

1.2 获取模型文件

ollama pull deepseek-r1:1.5b # 如果要获取其他参数的模型则更改1.5b即可

1.3 管理模型

ollama list

管理模型

1.4 运行模型

ollama run deepseek-r1:1.5b

运行本地模型

退出可输入：/bye

二、Chatbox AI

2.1 下载Chatbox

官网下载：https://chatboxai.app/zh
Chatbox官网在这里插入图片描述
在这里插入图片描述

2.2 编辑环境变量

注意！！关闭OLLAMA程序，在开始栏搜索“编辑系统环境变量”。
在这里插入图片描述
在这里插入图片描述

新建2个系统变量：

变量名：OLLAMA_HOST ——> 变量值：0.0.0.0
变量名：OLLAMA_ORIGINS ——> 变量值：*

2.3 回到chatbox选择模型

在这里插入图片描述

2.4 开始对话

在这里插入图片描述

三、OpenWeb UI

建议使用 Docker 部署，不需要配置环境，避免环境冲突的影响。

3.1 安装Docker

官网下载：https://www.docker.com/
Docker Desktop for Windows 需要 WSL 2支持。如果出现以下报错，说明没有启动WSL，需要以管理员身份打开 PowerShell，执行以下命令安装WSL2内核。

参考：https://blog.csdn.net/coder_copy/article/details/141425540

在这里插入图片描述
win11执行以下命令，将把 WSL 2 设置为默认版本。如果您的系统中没有安装 WSL 2 内核，则会自动下载并安装（win10同样）。

wsl --set-default-version 2

如果 WSL 2 内核更新失败，可以尝试手动更新。

wsl --update

3.2 修改代理

参考：https://blog.csdn.net/qq_53795212/article/details/139690567

3.2.1 添加代理（本地找不到的容器会自动到网上去找）

添加后点 Apply。
在这里插入图片描述

3.2.2 添加镜像（加快下载速度）

添加后点 Apply。

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  },
  "registry-mirrors": [
    "https://1nj0zren.mirror.aliyuncs.com",
    "https://docker.mirrors.ustc.edu.cn",
    "http://f1361db2.m.daocloud.io",
    "https://registry.docker-cn.com"
  ]
}

在这里插入图片描述

3.3 通过 docker 下载 Open WebUI

（已安装OLLAMA的情况下）

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在这里插入图片描述
此时Docker Desktop也显示容器已运行。
在这里插入图片描述

如果要修改Docker镜像保存的位置：
在这里插入图片描述
可改为在这里插入图片描述

安装后，可以通过http://localhost:3000访问 Open WebUI 。
创建账户后，选择模型，即完成。
在这里插入图片描述

3.4 可能存在的问题

File upload hangs, unable to upload files.

不同情形的报错解决方式有所区别：
参考1：https://github.com/open-webui/open-webui/discussions/7898
参考2：https://linux.do/t/topic/237176
参考3：https://docs.openwebui.com/

在这里插入图片描述
👆Docker的此种日志，似乎可以忽略：The message “Collection …does not exist” seems to be normal. An older instance, where the upload still worked, gives the same error.

硅基流动测试"Pro/deepseek-ai/Deepseek-R1"模型提示余额不足，其它模型正常

这个模型仅支持充值余额支付，免费送的不能用。

参考：https://github.com/songquanpeng/one-api/issues/2063

需要修改openwebui的版本

docker rm -f open-webui
#假设要安装v0.5.18版本（如果是最新版，那就是main）
docker pull ghcr.io/open-webui/open-webui:v0.5.18
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v D:\Programs\DockerData\open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:v0.5.18

需要下载ollama其他模型

参考：https://blog.csdn.net/AAI666666/article/details/145469781

（1）Ollama模型下载路径相关设置
变量名：OLLAMA_MODELS
变量值：（你想要存放大语言模型的路径，举例说明：我想把模型存放在E盘Github code文件夹下的OLLAMAMODEL这个文件夹中，那么变量值就输入如下）E:\Github code\OLLAMAMODEL
在这里插入图片描述

（2）进入Ollama的模型图书馆找找模型：https://ollama.com/library
在这里插入图片描述

四、其他设备访问电脑本地部署的模型（2种方法）

4.1 同一个局域网下访问 + OpenWeb UI设立创建用户权限（可选）

原理：在同一个WiFi下，将自己的电脑变成服务器，他人可以通过手机或电脑来访问localhost下的web项目。

“同一局域网”参考：https://blog.csdn.net/weixin_41897680/article/details/107846205
“开放工作区”参考： https://blog.csdn.net/kangweijian/article/details/145423603

4.1.1 关闭防火墙

在这里插入图片描述

4.1.2 查询本地IP

在这里插入图片描述

4.1.3 创建用户账号

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.1.4 设置账号权限

在这里插入图片描述

4.1.5 添加模型到工作区

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.1.6 开放给他人使用

将url前缀由localhost改为部署本地模型的主机IP地址，如：192.168.x.x:3000/

4.2 创建隧道访问

“内网穿透实现公网访问本地大语言模型”参考： https://blog.csdn.net/qq_28413709/article/details/138210544

4.2.1 下载cpolar

注册登录并下载：https://www.cpolar.com
在这里插入图片描述

4.2.2 创建隧道

  1. 安装成功后在浏览器访问http://localhost:9200，使用已经注册好的账号登录
    在这里插入图片描述
  2. 创建一个公网http地址隧道

隧道名称：ollama1（自定义命名，注意不要与已有的隧道名称重复）
协议：http
本地地址：3000 (本地访问的地址)
域名类型：免费选择随机域名 地区：选择China Top

  1. 创建好后可以选择在线隧道列表，复制公网网址即可实现公网访问本地模型。
    在这里插入图片描述
清蒸鳜鱼
关注
扩展 Open WebUI：超越 ChatGPT 的替代方案
iCloudEnd的博客
12-07 606
Open WebUI是 AI 开源领域中出现的非常强大的工具之一。虽然它最初看起来可能只是一个聊天界面（ChatGPT 的便捷替代品），但它实际上是一个功能齐全的平台。您可以调整和自定义几乎每一个功能：模型、API 使用、用户界面、提示等等。
Deepseek 本地部署“网页版”与“软件版”超级详细教学（deepseek+Ollama+OpenWebUI+Chatbox AI+Cherry Studio）
久绊A的博客
02-20 3521
近期，人工智能领域迎来了一股新的热潮，DeepSeek作为一款备受瞩目的开源语言模型，凭借其卓越的性能和广泛的应用场景，迅速在全球范围内引起了广泛关注。从技术社区到商业领域，DeepSeek的热度不断攀升，甚至有“挤爆”的趋势。这不仅反映了其强大的技术实力，也体现了市场和用户对其的高度期待。在这样的背景下，本地部署DeepSeek模型的需求也日益增加。本地部署不仅可以避免网络延迟和数据隐私问题，还能根据用户需求进行定制化优化。
本地部署大模型： LM Studio、Open WebUI 与 Chatbox 全面对比以及选型指南
civiljiao的博客
02-24 2721
基于Web的轻量化界面，支持与Ollama、LM Studio等后端工具集成，提供类ChatGPT的交互体验。：专注于本地化大模型实验与推理的桌面工具，支持多模型并行、Hugging Face集成及离线运行。：通过Docker或Python安装，需配置后端服务（如Ollama）。：输入卡顿、交互体验待优化，缺乏高级功能（如RAG、多模型管理）。：开源本地GPT客户端，主打轻量化与易用性，但功能较为基础。：轻量级客户端，但需依赖外部模型服务，本地化能力弱。：直接下载桌面应用，无需安装依赖，适合小白用户。
windows平台本地部署DeepSeek大模型+Chatbox界面（可以离线使用）
Navy的博客
02-10 715
windows平台本地部署DeepSeek大模型+Chatbox界面（可以离线使用）
通过客户端Chatbox或OpenwebUI访问识别不到本地ollama中的模型等问题的解决
weixin_43794223的博客
02-08 8196
问题1：先安装了ollama，然后从docker安装了Open WebUI。启动Open WebUI后，找不到ollama中已经下好的模型。如果需要修改Ollama的默认设置（如模型存储路径或监听地址），可以通过配置环境变量来实现。，可以通过Ollama的WebUI或API与模型交互，而无需直接在命令行中运行模型。通过以上方法，即使关闭了命令行窗口，也可以随时重新启动并使用Ollama中的模型。这会将Ollama作为后台服务运行，即使关闭命令行窗口，服务也会继续运行。选中并点击“结束任务”。
【2025最新】Windows系统使用Ollama一键安装DeepSeek全攻略（零Python依赖）
waicsdn_haha的博客
02-21 1184
本文综合多平台实测数据，适用于Ollama v0.5.11 + DeepSeek-R1 v2.1组合环境，2025年2月验证有效。注：首次执行自动下载约5-8GB模型文件，耗时取决于网络速度。字段是否包含中文祝福内容。：检查返回JSON中。
保姆级教程 本地部署 deepseek + ollama + open-webui + cuda + cudnn
我hate吃西红柿
02-11 1639
本地部署deepseek-r1，基于ollama + webui，并开启cuda + cudnn 加速运算，我电脑显卡是3060 12G，没显卡的可以跳过cuda + cudnn的安装。
【人工智能模型部署】DeepSeek本地部署及WebUI可视化全流程指南：硬件软件要求与优化配置
最新发布
04-30
内容概要：本文档是关于DeepSeek本地部署及WebUI可视化的完全指南，涵盖环境准备、部署流程、WebUI方案、进阶配置、常见问题解决以及扩展部署方案。硬件方面推荐支持AVX2指令集的CPU、NVIDIA RTX系列GPU（依据模型...
Ubuntu、Windows 使用Ollama 本地部署deepseek，并在线访问可视化界面
小白不白
02-11 1476
我是Ubuntu系统，NVIDIA 3070 8G显存 16G运行内存，全用cpu也行，运行内存要大一些。第一次进入会让你注册，注册一个即可。点击models即可进入模型列表，比如我们选择deepseek-r1。这里除了deepseek，其他模型也都是在ollama官网下载的。即可安装，安装失败的话就创建个虚拟环境，再pip装。在设置里，这样选择，记得修改你的ip，端口不用改。可以选择不同的模型，我选择了 8b的模型。下载前期比较快，后面会慢，耐心等即可。进入后会有你的模型列表，选择对应的。
DeepSeek本地化部署(Window10)实操
csdn_gyb的博客
02-19 185
因此，接下来，我们将介绍与 Open-WebUI 系统进行集成，让交互界面更美观。找到deepseek-r1模型选择自己电脑对象的目标版本。如果屏幕上出现以下提示信息，那么恭喜你，Ollama 已经成功安装。ChatBox 官网地址：https://chatboxai.app/zh。复制命令直接执行：ollama run deepseek-r1:7b。下载链接：https://ollama.com/search。测试下：ollama run deepseek-r1。下载自己操作系统的安装包，进行安装。
玩转 Deepseek ——第一篇、本地化部署(Windows+Ollama+Docker+OpenWebUI)
weixin_55110841的博客
03-02 1689
Deepseek支持私有化部署且在无互联网的情景下完成思考任务。Deepseek运行对配置要求很高。
【干货教程】Windows电脑本地部署运行DeepSeek R1大模型（基于Ollama和Chatbox）
热门推荐
02-02 1万+
Windows电脑本地部署运行DeepSeek R1大模型（基于Ollama和Chatbox）
Ollama【部署 03】客户端应用ChatBox、AnythingLLM及OpenWebUI部署使用详细步骤
Java与大数据相关实践内容分享！
03-07 2275
Ollama 客户端应用ChatBox、AnythingLLM及OpenWebUI部署使用详细步骤
如何在Windows上搭建Ollama+Ragflow+Deepseek-R1自定义知识库
qq_30345409的博客
02-25 1307
在信息爆炸的时代，如何有效地管理和利用海量的数据，成为了企业和开发者面临的一大挑战。幸运的是，随着AI技术的不断进步，我们可以通过构建智能知识库来帮助解决这一问题。本文将带你一步步了解如何在Windows环境下，使用和搭建自己的自定义知识库。
dify、open-webui、chatbox 对比
dushky的博客
03-04 2956
Dify、Open-WebUI 和 Chatbox 是当前主流的开源 LLM 应用工具，但在功能定位、技术架构和适用场景上有显著差异。
Open WebUI | 自托管的 ChatGPT 网站
RexWang 的博客
10-07 3907
一个可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线操作。它支持各种 LLM 服务，包括 Ollama 和 OpenAI 兼容的 API。该项目在 GitHub 上已有 38k 星，是一个非常受欢迎的项目。
推荐5个免费Ollama WebUI客户端
m0_59163425的博客
10-13 8672
我们推荐5款开源免费的Ollama WebUI客户端，帮助您了解Ollama本地模型框架，轻松掌握其优缺点，提升您的使用体验。Ollama 的模型在本地运行，所有用户生成的数据都存储在本地，使其安全且私密，无需审查，有效满足您的数据隐私需求。而且，对于本地运行的应用程序来说，这种方法不仅提高了效率，而且消除了对网络环境的依赖。尽管Ollama可以在本地部署模型服务，但其原生交互界面是基于命令行的，这不允许用户轻松地与AI模型交互。
Open WebUI项目源码学习记录（从0开始基于纯CPU环境部署一个网页Chat服务）
weixin_63274008的博客
10-28 1万+
学习开源项目Open WebUI过程中的一点笔记记录。通过本文，您可以了解：Open WebUI项目的基本信息和架构； 通过ollama部署大模型、通过docker镜像和源码运行Open WebUI项目的方法；项目后端代码在多情景（普通提问、联网搜索提问、上传PDF文件且联网提问、上传PDF文件非联网提问）下的相关代码实现逻辑；RAG模块实现逻辑流程。
chatbox本地部署投喂数据
03-19
### Chatbox 的本地部署方法及投喂数据教程 #### 一、硬件与环境准备 为了成功完成 Chatbox 的本地部署以及后续的训练数据投喂操作，需要满足一定的硬件条件和软件环境设置。以下是具体的准备工作： - **硬件需求** 部署模型所需的最低硬件配置取决于所选的具体模型大小。例如，对于较小规模的模型（如7B），至少需要8GB RAM 和 i5 处理器；而对于更大规模的模型，则可能需要更高规格的工作站甚至 GPU 支持 CUDA 加速[^4]。 - **操作系统支持** 推荐使用 Linux 或 macOS 系统作为开发环境，因为这些平台提供了更好的兼容性和稳定性。如果必须在 Windows 上运行，可以通过 WSL (Windows Subsystem for Linux) 来模拟合适的执行环境。 - **依赖安装** 安装必要的 Python 版本及其库文件，以及其他辅助工具链比如 Docker 或者 Kubernetes 如果计划采用容器化管理方式的话。特别注意的是某些深度学习框架可能会有特定版本约束，请参照官方文档确认最佳组合方案。 #### 二、Chatbox 的本地部署过程 按照如下步骤实现 Chatbox 在个人计算机上的独立运作模式： 1. 下载并解压预编译好的可执行程序包或者通过源码自行构建镜像； 2. 设置 API 密钥等相关认证参数以便访问远程资源服务端口映射等网络通信细节调整； 3. 启动后台守护进程保持长期在线状态监听客户端请求消息传递机制建立完毕即可投入使用。 ```bash docker run --gpus all -p 8000:8000 deepseek/chatbot:vlatest ``` 上述命令展示了利用 Docker 技术快速启动一个基于 GPU 加速的服务实例的方法[^2]。 #### 三、向已部署的 Chatbox 中加入自定义训练材料 为了让定制版 AI 更加贴合实际应用场景下的业务逻辑特征表达能力提升效果显著，可以遵循以下指导原则来进行个性化资料注入工作流设计实施： 1. 数据收集整理阶段——将目标领域内的专业知识点汇集成结构化的电子档形式存储起来待用； 2. 文本嵌入转换环节——运用专门算法如 nomic-embed-text 将原始素材转化为机器能够理解识别的标准数值表示法矩阵向量空间分布特性描述清楚明了直观易懂便于后期进一步分析挖掘潜在价值所在之处[^3]； ```python from sentence_transformers import SentenceTransformer model = SentenceTransformer('all-MiniLM-L6-v2') sentences = ["This is an example sentence", "Each sentence is converted"] embeddings = model.encode(sentences) print(embeddings.shape) ``` 3. 模型微调优化时期——借助迁移学习策略结合梯度下降寻优法则不断迭代更新权重系数直至达到预期性能指标为止停止整个流程结束返回最终成果物供用户随时查询调用享受高效便捷智能化体验乐趣无穷尽也！ --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值