4070s显卡部署Deepseek R1

电脑配置:

处理器:AMD 7950X

内存:32G

硬盘:致态tiplus7100 2t

显卡:4070 super 12G

部署方法:

1. 到ollama官网下载安装ollama

https://ollama.com/https://ollama.com/https://ollama.com/https://ollama.com/https://ollama.com/

2. deepseek r1的模型:deepseek-r1https://ollama.com/library/deepseek-r1https://ollama.com/library/deepseek-r1https://ollama.com/library/deepseek-r1https://ollama.com/library/deepseek-r1https://ollama.com/library/deepseek-r1https://ollama.com/library/deepseek-r1打开CMD或者powershell,执行如下命令,我的是4070s显卡,选择了14b,可以根据自己显卡的算力选择不同的参数量,在上面的页面中有支持的可选项

ollama run deepseek-r1:14b

等待下载完成就可以问答了,如下图:

4070s使用14b可以流畅回答,显卡占用率可以接近100%。

也试了32b,有点慢,得思考个十几二十秒,之后大概每秒输出三四个字,显卡占用率一直不到30%,可以看到显存占满了,共享内存还多占了10G。

所以4070s这样12G显存的显卡还是使用14b的参数量最合适,32b是4070s这个级别的显卡能差不多能使用的极限了。

### NVIDIA Quadro P4000 上安装和配置 DeepSeek R1 为了在 NVIDIA Quadro P4000 显卡上成功部署 DeepSeek R1 模型,需要完成几个关键步骤来确保硬件和软件环境适配。以下是详细的说明: #### 一、确认GPU兼容性和驱动程序更新 NVIDIA Quadro P4000 支持 CUDA 计算能力,因此可以用于加速深度学习任务。然而,在开始前应先验证当前系统的 GPU 驱动版本是否支持所选的 CUDA 版本,并考虑升级到最新稳定版以获得最佳性能和支持。 #### 二、安装CUDA Toolkit 和 cuDNN 库 对于 Windows 用户来说,应当从官方渠道获取适用于操作系统的 CUDA Toolkit 并按照提示完成安装过程[^2]。此外还需要单独下载并设置 cuDNN 库,这是优化神经网络运算效率的重要组件之一。请注意保持两者之间的版本匹配关系以免引起冲突问题。 #### 三、配置环境变量与可见设备列表 为了让应用程序能够识别多块 GPU 资源,在命令行界面执行如下指令可设定 `CUDA_VISIBLE_DEVICES` 环境变量从而指明可用的 GPU ID 号码范围。由于只有一张P4000显卡,则只需将其设为 "0": ```bash export CUDA_VISIBLE_DEVICES=0 # 对于Linux/MacOS系统 set CUDA_VISIBLE_DEVICES=0 # 对于Windows PowerShell/CMD窗口 ``` #### 四、准备DeepSeek R1模型及其依赖项 根据项目文档指引克隆仓库或下载预训练权重文件至本地目录下;接着依照README.md中的指示逐步解决可能存在的第三方包缺失情况直至整个流程顺利结束为止。 #### 五、测试推理速度及准确性 最后一步便是编写简单的 Python 测试脚本来加载刚刚搭建好的模型实例并对给定输入数据集进行预测处理。通过观察输出结果以及耗时统计信息判断整体方案可行性的同时也为后续调优工作积累经验依据。
评论 13
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值