Windows本地部署DeepSeek-R1（可使用GPU加速）【Ollama+AnythingLLM】

最新推荐文章于 2025-03-08 17:49:58 发布
最新推荐文章于 2025-03-08 17:49:58 发布
阅读量1.7w 收藏 57
点赞数 22
文章标签： 人工智能 LLM 大语言模型 DeepSeek
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zbgjhy88/article/details/145401176
版权

本地部署大语言模型的成熟路径是硬件加速支持库（如需GPU加速）+本地大语言模型运行框架+本地AI应用用户界面，本文以安装有NVIDIA GPU的Windows系统为例，在本地部署DeepSeek-R1模型，选用的本地大语言模型运行框架是Ollama、本地AI应用用户界面是AnythingLLM。

NVIDIA GPU加速

注意：如果没有GPU或不需要GPU加速，可以直接跳过此部分。
1. GPU计算能力检查：Ollama 支持计算能力 5.0 及以上的 NVIDIA GPU。可在以下链接查看显卡的计算能力：Ollama文档提供常见NVIDIA GPU的计算能力供大家快速检索：

| Compute Capability | Family              | Cards                                                                                                       |
| ------------------ | ------------------- | ----------------------------------------------------------------------------------------------------------- |
| 9.0                | NVIDIA              | `H100`                                                                                                      |
| 8.9                | GeForce RTX 40xx    | `RTX 4090` `RTX 4080` `RTX 4070 Ti` `RTX 4060 Ti`                                                           |
|                    | NVIDIA Professional | `L4` `L40` `RTX 6000`                                                                                       |
| 8.6                | GeForce RTX 30xx    | `RTX 3090 Ti` `RTX 3090` `RTX 3080 Ti` `RTX 3080` `RTX 3070 Ti` `RTX 3070` `RTX 3060 Ti` `RTX 3060`         |
|                    | NVIDIA Professional | `A40` `RTX A6000` `RTX A5000` `RTX A4000` `RTX A3000` `RTX A2000` `A10` `A16` `A2`                          |
| 8.0                | NVIDIA              | `A100` `A30`                                                                                                |
| 7.5                | GeForce GTX/RTX     | `GTX 1650 Ti` `TITAN RTX` `RTX 2080 Ti` `RTX 2080` `RTX 2070` `RTX 2060`                                    |
|                    | NVIDIA Professional | `T4` `RTX 5000` `RTX 4000` `RTX 3000` `T2000` `T1200` `T1000` `T600` `T500`                                 |
|                    | Quadro              | `RTX 8000` `RTX 6000` `RTX 5000` `RTX 4000`                                                                 |
| 7.0                | NVIDIA              | `TITAN V` `V100` `Quadro GV100`                                                                             |
| 6.1                | NVIDIA TITAN        | `TITAN Xp` `TITAN X`                                                                                        |
|                    | GeForce GTX         | `GTX 1080 Ti` `GTX 1080` `GTX 1070 Ti` `GTX 1070` `GTX 1060` `GTX 1050`                                     |
|                    | Quadro              | `P6000` `P5200` `P4200` `P3200` `P5000` `P4000` `P3000` `P2200` `P2000` `P1000` `P620` `P600` `P500` `P520` |
|                    | Tesla               | `P40` `P4`                                                                                                  |
| 6.0                | NVIDIA              | `Tesla P100` `Quadro GP100`                                                                                 |
| 5.2                | GeForce GTX         | `GTX TITAN X` `GTX 980 Ti` `GTX 980` `GTX 970` `GTX 960` `GTX 950`                                          |
|                    | Quadro              | `M6000 24GB` `M6000` `M5000` `M5500M` `M4000` `M2200` `M2000` `M620`                                        |
|                    | Tesla               | `M60` `M40`                                                                                                 |
| 5.0                | GeForce GTX         | `GTX 750 Ti` `GTX 750` `NVS 810`                                                                            |
|                    | Quadro              | `K2200` `K1200` `K620` `M1200` `M520` `M5000M` `M4000M` `M3000M` `M2000M` `M1000M` `K620M` `M600M` `M500M`  |

2. 安装CUDA toolkit：在此链接下载CUDA toolkit，注意选择Windows的版本（如Win10、Win11等），建议下载local安装类型。此下载需要NVIDIA账号，请注册。安装完成后需重启电脑使配置生效。

本地大语言模型运行框架Ollama及DeepSeek-R1模型安装

1. Ollama安装：在Ollama官网下载Ollama并安装，此步骤极为简单，不在此赘述了。安装启动后，Ollama是在后台运行的，检查右下角托盘里有没有Ollama的Logo就可以了。

2. 通过Ollama安装DeepSeek-R1模型：Ollama模型库中包含多种支持的大语言模型，如DeepSeek-R1，Lamma3.3等：
在这里插入图片描述
进入deepseek-r1集合，按下图顺序选择参数数量和复制安装命令。注意GPU显存（或本地主机的内存，如果仅使用CPU）限制了可以使用的模型的大小，16GB显存的GPU可以运行14b的模型，24GB显存的GPU可以运行32b的模型。这里本人选择14b的模型，复制命令后在Powershell里执行，ollama会自动安装相应版本的deepseek-r1模型，只需等待命令运行结束即可：

ollama run deepseek-r1:14b

在这里插入图片描述

本地AI应用用户界面安装

实际上，通过Ollama安装完DeepSeek-R1模型后，在Powershell中可以直接运行，只需要在Powershell里再次执行：

ollama run deepseek-r1:14b

在这里插入图片描述
但是，在Powershell此类terminal中直接运行的话，难以保存、搜索、管理对话记录、难以读取附件、无法集成本地知识库实现检索增强生成（Retrieval-Augmented Generation，RAG）等功能，对用户十分不友好。因此，十分推荐大家安装一个本地AI应用用户界面，常用的有AnythingLLM、Open WebUI等。本文选择AnythingLLM作为示范。

AnythingLLM安装与配置：在AnythingLLM官网下载AnythingLLM并安装，此步骤亦十分简单，不再赘述。安装启动后，选择Ollama（注意不是DeepSeek）为LLMProvider，会自动检查本地部署的大语言模型，选择deepseek-r1:14b即可。创建Workspace后，即可开始对话：

在这里插入图片描述
AnythingLLM的功能请自行探索。

Forskamse
关注
玩转大语言模型——本地部署deepseek R1和本地数据库的小白教程(Ollama+AnythingLLM)
艾醒的博客
02-05 3121
最近deepseek模型可谓是非常火爆，尤其是deepseek R1的逻辑能力，并且deepseek R1还开放了多种参数大小的蒸馏模型，使得本地部署成为了可能。在本系列中上一篇介绍了在本地部署deepseek R1的用法，本篇将介绍如何部署本地大模型的数据库。
基于Ollama+AnythingLLM+Deepseek 1.5b构建企业级知识库
RodJohnsonDoctor的专栏
02-23 925
通过本文的实践，您可以在CentOS环境下快速搭建一个企业级的知识问答系统。结合Ollama、Deepseek 1.5b和AnythingLLM，不仅能够实现高效的中文知识管理，还能保障数据的私有化和安全性。希望本文对您的项目有所帮助！
一文教你在windows上实现ollama+open webui、外网访问本地模型、ollama使用GPU加速
热门推荐
qq_28413709的博客
04-26 3万+
ollama工具的出现让大语言模型的部署变得格外的轻松，但是在windows系统部署之后发现无法使用GPU进行加速，通过多方面查找资料发现可以在docker中使用命令启用GPU加速。另外通过Docker也可以快速部署open webui,于是本文基于docker实现ollama模型的部署，以及webui部署。最终部署成功后可以实现公网访问本地大语言模型功能。
Win11 使用 Ollama 本地部署 DeepSeek - R1 详细指南.pdf
02-05
Win11 使用 Ollama 本地部署 DeepSeek - R1 详细指南.pdf
使用gpu用windows版本的ollama
qq_38265411的博客
02-21 1371
开启对NVIDIA GPU的支持，通过PowerShell执行相关命令来安装Ubuntu子系统、更新包列表并安装nvidia-container-toolkit工具集。新建系统变量，变量名为OLLAMA_GPU_LAYER，变量值为cuda（对于NVIDIA GPU）或directml（对于AMD/Intel GPU）。（可选）如果有多个GPU，可以通过设置CUDA_VISIBLE_DEVICES环境变量来指定使用哪个GPU。右键点击开始菜单，选择“系统”，然后点击“高级系统设置”，再点击“环境变量”。
配置 Ollama 使用 GPU 加速模型推理
学亮编程手记
02-22 9275
注：实际性能受模型量化方式（q4_0/q5_K_M）影响显著。
设置Ollama模型跑在GPU上
更多内容查看博客描述。
02-11 1409
Ollama 对GPU 支持信息: https://github.com/qianniucity/ollama-doc/blob/main/ollama/docs/Ollama%20%E5%AF%B9GPU%20%E6%94%AF%E6%8C%81%E4%BF%A1%E6%81%AF.md。按照上面设置后，控制台使用Ollama ps 显示GPU是主要负载，但是任务管理器中看到的却是GPU没怎么跑，CPU占用很高。是 NVIDIA 提供的用于监控 GPU 状态的工具，也可以用来检查 CUDA 的版本。
Windows下Ollama只调用CPU，不使用GPU处理
weixin_50450265的博客
02-07 9608
在本地使用Ollama框架部署deepseek后发现CPU占用极高，查看日志发现不支持电脑的显卡型号。重启成功后，使用deepseek时CPU占用正常，成功使用GPU。，官方支持的显卡只需要下载安装官方版本的就行了。对于官方不支持的显卡才需要用这个版本，也能。打开软件安装目录，比如这是我的安装路径。下载显卡型号对应的压缩包。
ollama+anythingllm+deepseek R1本地部署
云袂的博客
02-07 4558
ollama+anythingllm+deepseek R1本地部署
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 2917
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
通过Ollama+Deepseek+AnythingLLM安装部署私有化大模型，并投喂样本数据
weixin_48398799的博客
02-06 6856
近期，国产大模型 DeepSeek 凭借其强大的性能和广泛的应用场景，迅速成为 AI 领域的焦点。然而，随着用户数量的激增，DeepSeek 的在线服务时常面临访问压力，导致响应延迟甚至服务中断的情况。 幸运的是，DeepSeek 作为一款开源模型，为用户提供了本地部署的解决方案。通过将 DeepSeek 部署到本地终端，用户不仅可以摆脱网络依赖，还能随时随地享受流畅的 AI 体验。本地部署后，DeepSeek 无需联网即可直接运行，彻底解决了在线服务的延迟和宕机问题。而且安全更适合一些工作人员。
DeepSeek+AnythingLLM打造自己大模型知识库
iNeuOS工业互联网
02-06 1765
有些用户或是专家在项目建设中提出来要提炼工艺库、模型库、算法库等知识库，可以试着让deepseek成为每个角色的助手，例如工艺的、信息化的、设备的、电气的等角色，让deepseek成为自己，再不断的迭代它。deepseek扮演AI助手的角色，应用越来越发挥出来应有的价值。
DeepSeek+Ollama+AnythingLLM 本地部署完全指南，打造专属知识库
weixin_44245188的博客
02-05 2733
打开官网地址：https://anythingllm.com/desktop，根据自己的系统选择下载的版本。Ollama 是一个用于本地运行大语言模型（LLMs）的开源工具，提供简单的界面和优化的推理引擎。DeepSeek+Ollama+AnythingLLM 本地部署完全指南，打造专属知识库。，使用户能够在个人设备上高效地加载、管理和运行 AI 模型，而无需依赖云端。其中，deepseek-r1:1.5b 换成适配你本地的模型。官网地址：https://ollama.com/
大模型部署实战：基于Ollama + DeepSeek-R1 + OpenAI的混合架构
qq_32358423的博客
02-14 1738
在AI技术快速发展的今天，大语言模型（LLM）已成为开发者工具箱中的核心组件。然而，直接依赖云端API（如OpenAI）可能面临成本、隐私和延迟等问题。（OpenAI），我们可以构建灵活、可控且高性价比的混合架构。本文将手把手教你实现这一方案。无论是个人项目还是企业应用，这套方案都能为你提供强大的AI能力支撑。
五分钟打造你的专属AI助手：Ollama + DeepSeek + AnythingLLM 完整整合指南
yuanmomoya的博客
02-08 1369
预备阶段：确认系统环境符合要求，安装 Ollama、DeepSeek 模型以及 AnythingLLM 客户端。数据导入：整理待收录的文本资料，借助 AnythingLLM 构建知识图谱。模型连接：利用 Ollama 启动 DeepSeek 模型，并将其与 AnythingLLM 对接，实现语言处理与知识管理的无缝衔接。测试优化：通过多轮问答测试，对系统参数和知识库内容进行微调，不断提升问答准确率和响应速度。
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程(ollama+chatbox)
艾醒的博客
01-31 3495
最近deepseek模型可谓是非常火爆，无论是逻辑能力还是知识层次都取得了很大的技术进步，最重要的是他完全开源，并且deepseek R1还开放了多种参数大小的蒸馏模型，使得本地部署成为了可能。经过实测，如果仅用于聊天消遣，不给模型较难的任务，1.5b的模型就已经有了一个很好的表现了，本章中将从零开始介绍本地部署deepseek R1，并且安装相关的可视化软件以供调用本地模型。
配置Ollama优先使用GPU进行计算的完整步骤
学亮编程手记
02-13 8864
根据需要，调整Ollama使用的GPU资源，如显存分配或指定特定GPU。确保系统已安装GPU驱动和CUDA工具包，并验证CUDA是否正常工作。如果Ollama支持配置文件，可以在其中指定使用GPU。Ollama可能提供支持GPU的版本，需确保安装的是该版本。在运行Ollama前，设置环境变量以启用GPU支持。通过环境变量或配置文件指定Ollama使用GPU。运行Ollama后，检查日志或使用。命令确认GPU是否被调用。查看GPU使用情况。
开启Ollama的GPU加速
m0_74158049的博客
03-08 686
Ollama 开启 GPU 加速
deepseek+ollama+openwebui+anythingllm本地部署局域网调用
最新发布
03-14
### DeepSeek、Ollama、OpenWebUI 和 AnythingLLM 的局域网本地部署及调用方法 #### 部署准备 为了在局域网中成功部署和调用这些服务，需先确认基础环境已经搭建完毕。通常情况下，Ollama 是核心组件之一，它提供了轻量级的推理能力，并支持多种大型语言模型（LLMs）。以下是具体的部署流程： --- #### 1. 安装 Docker 并拉取 Ollama 镜像 Docker 是运行 Ollama 的必要工具。通过以下命令可以安装并启动 Ollama： ```bash docker pull ollama/ollama docker run -d -p 11434:11434 -v /data/ollama:/root/.ollama --name ollama ollama/ollama ``` 如果设备具备 GPU 支持，则可以通过 `--gpus` 参数启用 GPU 加速模式[^4]。 进入容器后可进一步下载所需的模型文件： ```bash docker exec -it ollama /bin/bash ollama pull deepseek-r1:8b ``` 上述操作完成后，Ollama 将作为 HTTP API 接口提供服务，默认监听端口为 `11434`。 --- #### 2. 使用 OpenWebUI 调用 Ollama OpenWebUI 是一款图形化界面工具，能够简化与 LLMs 的交互过程。其配置方式如下所示： - **克隆仓库**：从 GitHub 获取最新版本代码。 ```bash git clone https://github.com/open-web-ui/webui.git cd webui ``` - **修改配置文件**：编辑 `config.json` 文件以指定目标地址指向本地图形接口的服务路径。 ```json { "api_url": "http://<服务器IP>:11434", "model_name": "deepseek-r1" } ``` 此处 `<服务器IP>` 应替换为实际主机 IP 地址或域名。 - **启动 Web UI** ```bash npm install && npm start ``` 此时访问浏览器中的 URL 即可通过可视化界面对接至后台运行的 Ollama 实例。 --- #### 3. 添加 AnyThingLLM 插件扩展功能 AnyThingLLM 可视为一种增强型插件框架，允许开发者轻松集成第三方资源库或者定制专属逻辑模块。具体实现步骤包括但不限于以下几个方面： - 确定所需加载的功能集； - 编写适配器脚本来桥接不同平台间的数据流传输协议； - 测试最终效果验证兼容性和稳定性。 例如，在 Python 中创建一个简单的客户端程序用于发送请求给远程节点： ```python import requests url = 'http://localhost:11434/api/generate' payload = {"prompt":"hello world","max_tokens":50} response = requests.post(url, json=payload) print(response.text) ``` 以上片段展示了如何利用 RESTful APIs 来获取预测结果[^1]。 --- #### 总结说明 综上所述，整个工作流涵盖了从基础设施建设到高级特性开发等多个层面的内容。借助于现代化 DevOps 工具链的支持，即使是在缺乏专用硬件加速卡的情况下也能顺利完成任务需求[^2]。
评论 17
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值