Windows下从零开始基于Ollama与Open-WebUI本地部署deepseek R1详细指南(包含软件包和模型网盘下载)

0. 概述

最近国产大模型DeepSeek很火,但有时因为访问人数过多导致反应慢甚至宕机。
在这里插入图片描述
但好在DeepSeek是开源的,可以本地部署,这样就不用联网也能用了。但本地部署需要考虑硬件需求,比如是否有足够的GPU资源,存储空间,以及是否熟悉相关的技术步骤。本地部署的优势,比如离线使用、数据隐私、响应速度。
是于本地部署,对硬件有一定的要求,特别是GPU,显然,GPU显存越大,就能部署参数更多的模型,通俗的讲,显存越大,模型越聪明。
下面是模型大小与所需硬件的关系:
在这里插入图片描述
可以在这个地址白嫖满血版的deepseek:https://dazi.co/login?i=d788ca33

1. 环境配置

我这里的使用远程服务器进行部署,系统是Windows,GPU是V100,32G显存,机子信息如下图(Windows下的模型部署步骤是一样的),要本地部署deepseek R1,首先要GPU驱动,Cuda,Cudnn,Ollama,Anaconda,Open-webui,这些我之前都打包放在网盘上。
在这里插入图片描述

1.1 显卡驱动

要使用GPU推理,首先要有GPU,其次就是要装上驱动,N卡驱动下载地址:https://www.nvidia.cn/drivers/lookup/
在这里插入图片描述
下载完成之后选择精简安装:
在这里插入图片描述
执行清洁安装:
在这里插入图片描述

1.2 CUDA

CUDA(Compute Unified Device Architecture,计算统一设备架构)是由全

### 部署DeepSeek本地模型的教程 #### 使用Docker、OllamaOpen-WebUI在Linux上的部署流程 为了成功部署DeepSeek本地模型,需先安装并配置好Docker环境。对于Linux系统而言,推荐按照官方文档中的指导完成安装过程[^1]。 一旦Docker准备就绪,下一步就是拉取所需的镜像文件。这里涉及到两个主要组件:一个是用于处理数据流的应用程序`docker.io/sladesoftware/log-application:latest`[^2];另一个则是特定版本的日志收集工具`docker.io/elastic/filebeat:7.8.0`。不过针对DeepSeek项目本身,则需要找到对应的预构建镜像或是自行创建适合该模型运行的基础镜像。 关于Ollama的支持,在此假设其作为服务端的一部分被集成到了最终使用的容器化应用里。而Open-WebUI作为一个图形界面前端框架,可以方便开发者调试以及用户交互操作。通常情况下,这类web应用程序也会被打包成独立的Docker镜像来简化分发部署工作。 下面是一个简单的Python脚本例子展示如何通过命令行调用API接口启动相关服务: ```python import subprocess def start_services(): try: # 启动日志收集器FileBeat filebeat_command = "docker run -d docker.io/elastic/filebeat:7.8.0" process_filebeat = subprocess.Popen(filebeat_command.split(), stdout=subprocess.PIPE) # 启动Log Application log_app_command = "docker run -d docker.io/sladesoftware/log-application:latest" process_logapp = subprocess.Popen(log_app_command.split(), stdout=subprocess.PIPE) output, error = process_filebeat.communicate() if error is None: print("Services started successfully.") else: print(f"Error occurred while starting services: {error}") except Exception as e: print(e) if __name__ == "__main__": start_services() ``` 值得注意的是,实际环境中可能还需要考虑网络设置、存储卷挂载等问题以确保各个微服务之间能够正常通信协作。此外,由于具体实现细节会依赖于所选的技术栈及业务需求,因此建议参考更多针对性强的学习资源如《Docker入门到实践》一书获取深入理解。 最后提醒一点,当涉及敏感信息传输时务必遵循安全最佳实践原则保护隐私不受侵犯。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知来者逆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值