把 DeepSeek1.5b 部署在显卡小于4G的电脑上

已于 2025-02-14 14:38:45 修改
阅读量3.4k 收藏 41
点赞数 28
文章标签： 电脑
于 2025-02-12 19:58:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rayufo/article/details/145598360
版权

这里写自定义目录标题

介绍

Deepseek1.5b能够运行在只用cpu和gpu内存小的情况下,经过试用,电脑只使用cpu是很慢的。
在实际使用过程中,我发现使用cpu和gpu是有区别的,使用gpu会出现答非所问的情况,发现默认情况下，GPU可能会使用半精度浮点数（float16）来加速计算，这可能会影响模型的准确性。尝试将精度改为单精度浮点数（float32）。修改后回答正常符合预期.

准备

Docker Desktop Installer.exe
open-webui
DeepSeek-R1-Distill-Qwen-1.5B
OllamaSetup
CUDA
其中OllamaSetup下载慢,需要网盘下载
模型从modelscope下载
open-webui从gitee下载2

安装 Ollama

Ollama 的官方网站下载很慢,最好从百度网盘下载
安装完成后，打开命令行界面并输入

ollama

命令。如果屏幕上出现以下提示信息，那么恭喜你，Ollama 已经成功安装。
在这里插入图片描述

查看CUDA需要版本

查看当前显卡驱动中的cuda版本

有两种方法：

1. 使用控制台命令查看。

nvidia-smi 是 NVIDIA 提供的用于监控 GPU 状态的工具，也可以用来检查 CUDA 的版本。

该命令会显示 GPU 的状态和性能信息，包括驱动程序版本和 CUDA 版本。

nvidia-smi

查看显卡驱动的cuda版本
查看显卡驱动的cuda版本
2.通过nvdia控制面板查看。桌面右键打开nvdia控制面板

在这里插入图片描述
查看显卡驱动的cuda版本

安装CudaToolkit

CudaToolkit版本 不能大于 上面的显卡Cuda版本。<

最低0.47元/天 解锁文章
rayufo
关注
本地部署 DeepSeek-r1:1.5b：测试工程师的效率革命，从繁琐到智能
weixin_44872675的博客
02-09 1467
从测试用例生成到日志分析，从自动化脚本辅助生成到问题定位，DeepSeek 几乎覆盖了测试环节的各个痛点，帮助测试工程师以更高效、更精准的方式完成工作。测试工程师需要手动编写大量的自动化测试脚本，尤其是在 Playwright、Selenium 等工具中，编写脚本不仅耗时，还容易因为业务变更导致脚本失效。在迭代开发中，需求文档和接口文档频繁更新，测试用例和脚本往往需要同步更新，增加了测试工程师的维护工作量。测试覆盖率和质量是评估测试工作的重要指标，但实际工作中，测试覆盖率往往难以量化，特别是手动测试环节。
DeepSeek本地部署操作指南
02-08
- 无显卡：1.5b，且小于等于4G显存 - NVIDIA显卡：6G显存，可以下载1.5b或7b参数模型；8G显存，可以下载7b或8b参数模型；12G显存，可以下载8b或14b参数模型；16G显存，可以下载14b参数模型；24G显存，可以下载14b或...
DeepSeek-R1 1.5b、7b、8b、14b、32b、70b、671b 都是什么鬼？
最新发布
Java技术栈，分享最主流的Java技术
02-22 1956
大家好，我是R哥。你是不是被DeepSeek-R1 1.5b、7b、8b、14b、32b、70b、671b这些概念绕晕了？如图所示：DeepSeek-R1 模型有好几种规格，比如1.5b、7b、8b、14b、32b、70b、671b，后面的数字代表模型的参数量，而 b 则是指 “billion” 的意思，也就是十亿，表示这个模型有多少亿个参数：1.5b 有 15 亿个参数；7b 是 70 亿...
本地部署 DeepSeek：小白也能轻松搞定！
再小的帆也能远航，把分享变成一种习惯
02-13 2377
最近DeepSeek太火了，以至于每个小伙伴都想试试。DeepSeek的到来可谓是开启了全民AI热潮。本以为DeepSeek本地化部署有多难，实际上验证后很简单，操作起来就像给电脑装个新软件那么简单，大约十多分钟可完成本地部署。
本地部署DeepSeek-R1 1.5B
weixin_44502794的博客
01-22 1万+
然后输入ollama run deepseek-r1:1.5b。然后打开windows powershell。等待ollama下载完模型，就是可以使用了。然后安装ollama。
win11通过ollama本地部署deepseek-r1:1.5b
李昂的博客
01-24 1万+
deepseek-r1:1.5b这个模型确实很轻量资源占用很少，应该也就占用1GB多点显存，但是也确实比较呆，很多问题都回答不上来，这里如果想要运行其他模型，可以参考ollama的技术文档https://ollama.readthedocs.io/quickstart/ 里面说明了其他模型运行的方式以及所需要的资源。下载完成后安装ollama，默认安装在c盘下面，这个通过默认安装方式无法更改模型就行，安装完成后可以打开CMD窗口输入。首次运行会自动下载模型，运行完成后就可以进行正常交互了。
本地部署deep seek-R1轻量级1.5b
2401_86263733的博客
02-17 1270
下载地址：https://chatboxai.app/zh （Windows版本）这里以1.5B为例，复制以下命令在ollama上运行，等待安装。安装完成有success标志，接下来测试。本机配置：14核，内存16G。
win10系统可使用的DeepSeek模型（1.5b、8b、14b）
yilvyangguang520的博客
02-07 1043
win10系统可使用的DeepSeek模型（1.5b、8b、14b）
linux系统离线部署deepseek-r1:1.5b
qq_44772261的博客
02-10 2231
在目录/etc/systemd/system下创建文件ollama.service。3.1 找到空间大的地方，建立一个ollama文件夹，把压缩包上传上去，再解压。3.3 这个时候输入ollama，会提示没有该命令，因为没有设置全局可用。3.2 解压得到两个文件夹，进入到bin文件夹下，得到ollama本体。我是为了节约流量，直接运行的，同样道理，把文件拷贝到下方的目录下即可。文件下载到了/root/.ollama/models下。3.4 随便找个地方，输入ollama，发现可用即可。
DeepSeek-R1模型不同参数规模（1.5B、7B、8B、14B、32B、70B、671B）之间的区别
有天你会让我妒忌的
02-10 8591
DeepSeek-R1 系列模型的不同参数规模（如1.5B、7B、14B、70B等）代表了模型的参数量级，直接影响模型的。例如，用7B模型验证业务流程，再迁移到14B提升效果。建议先从小规模模型实验，再根据实际需求逐步升级。
DeepSeek是新源神！推理模型o1性能1/50价格，微调/数据/商用全免费，蒸馏1.5B小模型可比GPT-4o
m0_59164304的博客
01-21 2143
DeepSeek新发布远超预期，Reddit/𝕏狂暴刷屏中。这次大事共有3件：开源，与o1性能相近。‍‍开源，预训练模型直接RL，不走SFT，堪称语言模型的AlphaZero。开源用，在某些任务上直接超过GPT-4o。同时开放官方API，输入token（命中缓存）价格只有OpenAI o1的1/50，未命中缓存以及输出token价格约1/27。
DeepSeek-R1模型1.5b、7b、8b、14b、32b、70b和671b有啥区别？
facaixxx2024的博客
02-02 3万+
deepseek-r1的1.5b、7b、8b、14b、32b、70b和671b有啥区别？码笔记mabiji.com分享：1.5B、7B、8B、14B、32B、70B是蒸馏后的小模型，671B是基础大模型，它们的区别主要体现在参数规模、模型容量、性能表现、准确性、训练成本、推理成本和不同使用场景
DeepSeek-R 1.5B、7B、8B、14B、32B、70B、671B 主要区别在于：
热门推荐
SAFE20242034的博客
02-03 4万+
DeepSeek-R1 主要是一个系列的开源大模型，不同版本的。，可以告诉我，我会帮你选择最合适的版本！如果你有更具体的需求，比如。
DeepSeek是新源神！推理模型o1性能1/50价格，微调/数据/商用全免费，蒸馏1.5B小模型可比GPT-4o...
量子位
01-21 1302
梦晨 发自 凹非寺量子位 | 公众号 QbitAIDeepSeek新发布远超预期，Reddit/????狂暴刷屏中。这次大事共有3件：开源DeepSeek-R1推理大模型，与o1性能相近。‍‍开源DeepSeek-R1-Zero，预训练模型直接RL，不走SFT，堪称语言模型的AlphaZero。开源用R1数据蒸馏的Qwen、Llama系列小模型，在某些任务上直接超过GPT-4o。同时开放官方API，输入...
Windows本地部署（DeepSeek-R1-Distill-Qwen-1.5B）模型
qq1164014750
01-26 1万+
登录 WSL 后，根据 NVIDIA 下载页面的说明安装 CUDA 11.8，依次执行以下命令：也可以参考官方说明：https://developer.nvidia.com/cuda-downloads?https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B 国内 modelscope。
DeepSeek-R1-Distill-Qwen-1.5B：最佳小型LLM？
2401_84204207的博客
01-31 1万+
DeepSeek-R1的蒸馏模型是通过蒸馏技术从更大版本的DeepSeek-R1模型中提取出来的紧凑高效版本。这个过程将大型模型的知识和推理能力转移到更小的模型中，使它们能够在推理任务上表现良好，同时更加轻量、节省资源，并且更容易部署。DeepSeek-R1发布的不同蒸馏模型包括：DeepSeek-R1-Distill-Qwen系列：1.5B，7B，14B，32B。DeepSeek-R1-Distill-Llama系列：8B，70B。
1.5B 到 671B，DeepSeek 本地部署配置全面覆盖的推荐
Black_Rock_br的博客
02-17 1400
此外，DeepSeek R1 671B（完整未蒸馏版本）在本地部署时可能会面临较大的硬件需求挑战，因为其对计算能力和存储空间的要求较高，这可能让一些用户感到望而却步。本地部署 DeepSeek 不仅能够确保数据的绝对安全，还能提供更高效、更稳定的服务，满足企业对高性能计算和定制化应用的需求，成为众多企业的理想选择。：在V1的基础上，V2引入了混合专家（MoE）架构和多头潜在注意力（MLA）机制，拥有236B的总参数量，每个token仅激活21B参数，支持128K tokens的上下文长度。
显卡 4060 个人搭建 DeepSeek-R1-Distill-Qwen-1.5B deepseek 手把手搭建
二等碗
02-22 1434
由于大多数都是用 windows 环境，尝试搭建一个做测试，所以这边建议使用WSL 来下载一个Linux 系统，我这里就用Ubuntu 来演示。 deepseek 手把手搭建
个人入门deepseek-r1：基于笔记本硬件配置的模型(1.5b 7b 8b 14b 32b 70b 671b)选择指南
c_lanxiaofang的博客
02-06 5164
型号与显存（关键）：Windows：任务管理器 → 性能 → GPU → 查看型号和专用显存（如NVIDIA RTX 3060 6GB）。Linux：命令 `nvidia-smi` 查看GPU信息。内存（）：任务管理器 → 性能 → 内存（建议≥16GB）。：至少4核以上现代处理器（如Intel i5/i7或AMD Ryzen 5/7)。
deepseek1.5B部署
02-06
### 如何部署 DeepSeek 1.5B 模型 #### 准备工作 为了成功部署 DeepSeek 1.5B 模型，需先准备好运行环境。这通常意味着要有一个支持 Docker 或者类似容器技术的服务器或本地机器。 #### 安装 Ollama Ollama 是用于...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值