【DeepSeek】私有化本地部署图文(Win+Mac)

目录

一、DeepSeek本地部署【Windows】

1、安装Ollama

2、配置环境变量

3、下载模型

4、使用示例

a、直接访问

b、chatbox网页访问

二、DeepSeek本地部署【Mac】

1、安装Ollama

2、配置环境变量

3、下载模型

4、使用示例

5、删除已下载的模型

三、DeepSeek其他

1、各个蒸馏版本对应硬件配置参考

2、DeepSeek-V3的综合能力

3、DeepSeek-个人知识库


一、DeepSeek本地部署【Windows】

1、安装Ollama

Ollama官网Ollama

2、配置环境变量

OLLAMA_HOST 0.0.0.0
OLLAMA_ORIGINS*

3、下载模型

4、使用示例

a、直接访问

b、chatbox网页访问

Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载


二、DeepSeek本地部署【Mac】

1、安装Ollama

2、配置环境变量

launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"

还是不成功的请访问chatbox的帮助

直达链接:

如何将 Chatbox 连接到远程 Ollama 服务:逐步指南 - Chatbox 帮助中心:指南与常见问题

3、下载模型

4、使用示例

总的来看,一般电脑比较适合部署14b版本,也算能用,毕竟是蒸馏版本,参数量在这放着呢,虽然是蒸馏版本,但也基本都保留了核心的推理能力。

如果想跑更高版本的,硬件配置很多人吃不消的,个人的建议14b玩玩就行了。

专业可靠的还得是官方的满血版本,硬件配置要求太高了。

有台式机可以搞到128G运存的,可以尝试下32b/70b的版本的。

5、删除已下载的模型

1.进入 cmd 
2.查看已经部署的模型,输入:ollama list
3. 删除指定的模型: ollama rm deepseek -r1:70b

三、DeepSeek其他

1、各个蒸馏版本对应硬件配置参考

模型版本CPU要求内存要求硬盘要求显卡要求适用场景
DeepSeek-R1-1.5B最低4核,推荐Intel/AMD多核处理器8GB+3GB+非必需,若需GPU加速,可选4GB+显存(如GTX 1650)低资源设备部署等场景
DeepSeek-R1-7B8核以上,推荐现代多核CPU16GB+8GB+推荐8GB+显存(如RTX 3070/4060)本地开发测试等场景
DeepSeek-R1-8B与7B相近,略高10-20%与7B相近,略高10-20%与7B相近,略高10-20%与7B相近,略高10-20%需更高精度的轻量级任务
DeepSeek-R1-14B12核以上32GB+15GB+16GB+显存(如RTX 4090或A5000)企业级复杂任务
DeepSeek-R1-32B16核以上(如AMD Ryzen 9或Intel i9)64GB+30GB+24GB+显存(如A100 40GB或双卡RTX 3090)高精度专业领域任务
DeepSeek-R1-70B32核以上服务器级CPU128GB+70GB+需多卡并行(如2x A100 80GB或4x RTX 4090)科研机构等高复杂度生成任务

2、DeepSeek-V3的综合能力

3、DeepSeek-个人知识库


有用请点赞,养成良好习惯!

疑问、交流、鼓励请留言!

### DeepSeek 大模型私有化部署指南 DeepSeek 支持多种参数规模的大模型进行本地私有化部署,包括但不限于 1.5B, 7B, 8B, 14B, 32B, 70B 和 671B 参数量的版本[^1]。为了实现这些大模型的安全高效部署,官方提供了详尽的技术文档和支持工具。 #### 部署环境准备 确保目标服务器满足最低硬件配置需求,特别是对于内存和GPU资源的要求。推荐使用具备高性能计算能力的机器来承载大规模预训练模型的服务端应用。具体的操作系统兼容性和依赖库安装说明可以在官方提供的最全文档中找到。 #### 获取授权许可 由于涉及到知识产权保护以及商业用途考量,在正式开展部署工作前需向DeepSeek申请相应的许可证或许可协议文件。这一步骤至关重要,它不仅保障了用户的合法权益同时也维护了技术提供方的利益不受侵害。 #### 下载并解压软件包 通过合法渠道获得经过加密处理后的压缩包后将其放置于指定目录下完成初步加载过程;接着按照指引执行解密命令释放出完整的程序框架结构以便后续操作能够顺利展开。 #### 安装必要的运行组件 依据所选平台特性挑选适合当前系统的二进制发行版或是源码编译方式来进行核心引擎及相关插件模块的设置。期间可能还会涉及一些额外配置项调整以适配特定应用场景下的性能优化诉求。 #### 启动服务实例 当一切准备工作就绪之后就可以尝试启动API网关或者其他形式对外接口供调用了。此时应该密切监控日志输出情况及时排查可能出现的问题直至整个流程稳定下来为止。 ```bash # 示例:启动 deepseek-r1:671b 模型服务 docker run -p 8080:8080 deepseek-r1:671b ```
评论 23
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

慕白Lee

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值