Ollama+CherryStudio本地部署拯救deepseek官方不可用

deepseek的出现瞬时成了现象级、国运级产品,爆火导致的用户规模增加以及被攻击导致经常出现服务器忙的现象,调侃一句就是”你回它是秒回,它回你是轮回“:
在这里插入图片描述

好在deepseek将模型开源,并且有已经量化到可以在我们本地电脑部署,本文我们介绍从PC端到手机端一站式部署deepseek。

首先说明下各个版本模型要求的显存大小:

  • 1.5B 需要2G显存
  • 7B、8B 需要6G显存
  • 14B 需要10G显存
  • 32B 需要20G显存
  • 70B 需要40G显存
  • 671B 需要400G显存,这个才是真正的满血deepseek,前边都是小模型蒸馏。
    模型量越大,生成的效果越好,对电脑的配置就越高,生成速度也和模型的大小息息相关。如果要有很好的体验,那就留一点性能存量,比如我使用的是 M3 的Mbp,内存为 16GB,理论上可以跑 14B 的模型,但是很慢,一秒才吐三四个字,而如果是小一些的话,一秒就八九个字了,十分流畅。

接下来介绍如何本地部署deepseek并且集成chatbot页面。
首先需要安装ollama,从官网https://ollama.com/下载对应系统的安装包安装即可。
接下来下载cherry studio,官网下载地址:https://cherry-ai.com/。
由于此前文章介绍过了ollama安装和使用,这里直接介绍cherry studio。
在这里插入图片描述

下载完成后界面:
在这里插入图片描述

点击设置,模型服务选择ollama,点击开启:
在这里插入图片描述

点击添加后选择模型deepseek-r1模型:
在这里插入图片描述

点击检查api秘钥:
在这里插入图片描述

选择要检查的模型:
在这里插入图片描述

这里检查失败了,因为本地安装模型是1.5b,这里输入模型的时候有写全:deepseek-r1:1.5b,这时候点击确定后显示连接成功。

这时候点击聊天图标,选择对应模型后就可以开始使用了:
在这里插入图片描述

由于使用的是1.5的,速度杠杠的:
在这里插入图片描述

接下来介绍在Android端和iOS端部署进行本地部署。

对于iOS需要切换到美区,注册美区Apple ID,然后下载PocketPal AI:
在这里插入图片描述

Android端可以从github(https://github.com/a-ghorbani/pocketpal-ai?tab=readme-ov-file#android)直接下载后安装(跳转googleplay,也可以自己安装运行)。
安装后选择go to module:
在这里插入图片描述

点击 “+” 选择 hugging Face:
在这里插入图片描述

搜索deepseek R1,选择适合自己的模型,并下载
在这里插入图片描述

返回首页,点“load”就可以发起对话了
在这里插入图片描述

接下来可以在手机使用本地离线模型聊天了。
这里需要注意手机端离线模型安装需要访问国外网站。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

轻口味

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值