一、介绍(DeepSeekR1 和 V3)
DeepSeek R1 是2025年1月20日发布的,中国公司的伟大成就。DeepSeek V3更是R1的全面升级:
- DeepSeek-V3
- 通用型模型:专注于自然语言处理、知识问答、内容创作等通用任务,目标是实现高性能与低成本的平衡,适用于智能客服、个性化推荐系统等场景。
- 训练重点:通过算法优化降低训练成本,采用多令牌预测(MTP)和无辅助损失负载均衡策略提升效率,支持128K上下文窗口。
- DeepSeek-R1
- 推理专用模型:专为数学、代码生成和复杂逻辑推理任务设计,通过大规模强化学习(RL)提升推理能力,对标OpenAI o1系列。
- 创新训练方法:完全摒弃监督微调(SFT),采用纯强化学
- 习(如GRPO算法)训练基座模型,并通过冷启动数据优化可读性。
对于本地来说,DeepSeekV3 只有完整版671b,404G大小,没有蒸馏版和量化版,个人电脑带不动,需要硬件集群啊,
目前市场流通的顶配RTX5090的显卡也只配得上32b版本,而完整版是其数十倍的算力,所以没法安装V3完整版!
咱们只能部署r1版本,效果也是杠杠的。
Github - deepseek-ai/Deepseek-R1https://link.zhihu.com/?target=https%3A//github.com/deepseek-ai/DeepSeek-R1/分离式训练推理代码,仅开源推理代码,可以本地部署进行模型推理,使用DeepSeek-R1,却不可以训练,参观源码。
二、下载Ollama
Ollama 是一个开源项目,专注于在本地运行、管理和配置大型语言模型。
你可以认为 Ollama 是运行大语言模型的基础环境。
基本上都下载一天 都下载不下来,那怎么办呢?
我这里为大家下载好了 不过不是最新版本的 但并无影响,放在了百度网盘:
通过网盘分享的文件:Ollama
链接: https://pan.baidu.com/s/1QhTFQqSurG6nw9xO5G3MZw?pwd=g694 提取码: g694
--来自百度网盘超级会员v5的分享
三、安装 DeepSeek R1
Ollama支持多种DeepSeek模型版本,用户可以根据硬件配置选择合适的模型。以下是部署步骤:
选择模型版本:
- 入门级:1.5B版本,适合初步测试。
- 中端:7B或8B版本,适合大多数消费级GPU。
- 高性能:14B、32B或70B版本,适合高端GPU,比如30/40/50系列显卡。
下载模型:
打开终端,输入以下命令下载并运行【如果已经下载好了,就会自动运行,如果没下载就自动下载后运行】DeepSeek模型。例如,下载14B版本的命令为:
ollama run deepseek-r1:14b
其余版本秩序修改14b中的数字14,比如要下载7b直接就是:
ollama run deepseek-r1:7b
启动Ollama服务:
在终端运行以下命令启动Ollama服务:
ollama serve
四、.chatBox下载安装
Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
我们通过ollama下载模型后,可以在命令行使用deepseek了,但是命令行的形式还是有些不美观,所以我们可以借助chatBox,它拥有美观的UI,只要接入ollama的Api就可以使用了。
也是可以多平台下载,我这里选择windows下载
安装启动后,点击设置
模型提供方选择ollama API
然后现在可以选择模型了
能成功使用