在m4芯片的macbook pro上部署并推理deepseek-r1到底能有多快呢

最新推荐文章于 2025-02-13 22:15:06 发布
最新推荐文章于 2025-02-13 22:15:06 发布
阅读量1.4w 收藏 17
点赞数 10
文章标签： 大模型 macbook
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40999403/article/details/145394579
版权

最近deepseek的战绩席卷全球，成为开源第一大模型。我正好有一台m4pro芯片的macbook pro，让我们看看如何在mbp上跑deepseek-r1,并测试一下速度。

首先查看一下电脑配置，我的电脑是24G+512G的m4 pro芯片的macbook。

在这里插入图片描述

然后看一下deepseek-r1有哪些模型

因为内存只有24G，所以32B以上模型是跑不了的,我这次就测试蒸馏后的14B模型。

在这里插入图片描述

因为看模型报告对qwen2.5蒸馏后的模型性能比qwen2.5本身要好的多，所以也会加入qwen2.5的测试。还有gguf格式模型和苹果本身mlx引擎到底有什么不同。也会测试各模型的推理速度，让我们一起看看吧。

Qwen2.5-14B-Instruct-4bit

context length上下文长度:12K

mlx引擎推理效果：
在这里插入图片描述
在这里插入图片描述

生成速度平均：28 tokens/s，0.4s to first tok

最低0.47元/天 解锁文章
在M4 Mac Mini集群上运行DeepSeek V3 671B
强化学习曾小健
12-30 1万+
博客文章尚未完成，如果您想阅读关于 EXO 如何分割模型的博客文章（与此相关），请查看 第1天，我们解释 EXO 如何将模型分割成分片[1]。对于 LLama 70B 模型，它是密集型的，这意味着我们需要计算 70B 个参数才能生成每个标记。从系统的角度看，专家混合模型本质上是一个大语言模型，每次推理时只使用参数的子集。因此，我们仍需保持所有参数“热“状态，随时可以发送到GPU，但实际计算时只会发送少量参数。对于batch_size=N，每秒计算的参数下降到1/N，但每秒传输到计算设备的参数不会改变。
MacBook Pro（M1）DeepSeek 本地安装部署
最新发布
qq_38737545的博客
02-17 506
MacBook Pro（M1）DeepSeek 本地安装部署
在Mac mini M4上部署DeepSeek R1本地大模型
weixin_44626085的博客
02-03 1万+
Web UI 控制端。
2025 最新 DeepSeek-R1-Distill-Qwen-14B vLLM 部署全攻略：从环境搭建到性能测试(V100-32GB * 2)
MnivL的博客
02-06 1万+
本文详细介绍了在 2025 年进行 DeepSeek-R1-Distill-Qwen-14B 模型基于 vLLM 的部署过程。从环境准备开始，包括硬件与软件环境要求，如特定的操作系统、GPU 型号、Python 版本、CUDA 及 PyTorch 版本等，指导读者完成基础环境搭建。接着深入依赖安装环节，细致讲解了使用 conda 创建虚拟环境、pip 换源加速下载依赖包以及安装 CUDA 和 PyTorch 的要点，并提供检查安装是否成功的方法。
MacOS本地部署Deepseek，不联网也可以使用AI，保护隐私
weixin_44336445的博客
01-30 1万+
苹果笔记本本地部署deepseek主要用到Ollama与open-webui。
本地部署DeepSeek教程（Mac版本）
weixin_59685936的博客
02-01 2万+
本地部署DeepSeek教程（Mac版本）
macbookpro m3本地部署DeepSeek模型
SinjoyWong的博客
02-05 1178
macbookpro m3有着十分强大的性能。在deepseek如火如荼的当下，可以尝试在本地部署并使用。还可以将自己的文档作为语料喂给deepseek，使其能成为自己专属的AI助手。本文介绍使用ollama在本地部署deepseek模型，并使用chatbox优化访问的步骤。
MacBook Pro（M1芯片）DeepSeek R1 本地大模型环境搭建
韵律咖啡馆
02-05 8688
这一阵子deepseek真的是太火了，这不，R1出来后更是掀起AI的狂欢，作为一个AI的外行人，也是忍不住想要拿过来感受一番～～简单了解一下，下面我们进入正题。。。
Mac本地部署deepseek教程
destiny503的博客
02-05 5469
本地下载使用deepseek模型
macMini16G内存M4芯片 DeepSeek-r1本地化部署+chatbox三步走
limaning的专栏
02-11 1410
Ollama官网，点击Models，选择deepseek-r1，我用的是8b的模型，复制之后，粘贴在终端，等待下载。我这个大约用了16个小时吧。这个过程最好晚上弄，早晨醒来也做好了。大体来说分为3步：安装ollama，获取deepseekR1模型，chatbox设置并调用。DeepSeek本地化部署，有利于保护隐私，调用也方便。1.下载ollama客户端，并安装。2.获取deepseekR1模型。3.使用chatbox，并设置。接下来，就可以愉快地使用了！
deepseek-r1本地部署macbook
02-10
### 如何在 MacBook 上本地部署 DeepSeek-R1 ...通过上述步骤，在配备有 M4 Pro 芯片的 MacBook Pro 设备上完成 DeepSeek-R1 的本地化部署成为可能。实际运行效率取决于具体应用场景以及输入数据规模等因素影响。
如何在离线的电脑上部署一个本地Deepseek（使用ollama）
qq_41854911的博客
02-08 1万+
例如，如果您的显卡显存为 16GB，官方推荐使用 32b 大小的 DeepSeek 模型。请根据您的硬件配置选择适合的模型版本，以获得最佳性能。首先我们需要将ollama和chatbox的安装包，Deepseek模型文件通过U盘或者光盘的形式导入到这台不能联网的电脑上。按照时间排序，找到最大的那个文件，就是gguf格式的模型，复制出来，改名为qwen2.5-coder0.5b.gguf。：基于开源模型（如 QWEN 和 LLAMA）微调，参数量从 1.5B 到 70B 不等，适合本地硬件部署。
DeepSeek大模型一键部署解决方案：全平台多机分布式推理与国产硬件优化异构计算私有部署
风一样
02-13 6376
以上是关于如何安装 GPUStack 并在不同场景下部署 DeekSeek R1 模型的使用教程。了解更多信息。GPUStack 是一个低门槛、易上手、开箱即用的私有大模型服务平台。它可以轻松整合并利用各种异构 GPU 资源，方便快捷地为生成式 AI 应用和应用开发人员部署所需的各种 AI 模型。GPUStack 背后的研发团队具有全球顶级开源项目经验，项目的功能设计和文档都很完整，团队自项目初期便面向全球用户，当前已有大量国内外开源用户。团队致力于将国产开源项目推广到全球，值得关注。。
如何在无法联网的电脑上本地部署 DeepSeek 大模型
qq_41854911的博客
02-13 4377
DeepSeek 是一家位于中国的人工智能公司，专注于研发新一代通用人工智能技术。其最引人注目的成就之一便是 DeepSeek 大模型 系列，这是一系列开源的大语言模型，以其卓越的性能和开放性，在业界引起了广泛关注。DeepSeek 开源介绍DeepSeek 秉持着开源开放的精神，将其研发的大模型对外开源，旨在推动人工智能技术的普及和发展。
DeepSeek-R1不同版本的 1.5B、7B、8B、14B、32B、70B、671B 主要区别以及各个蒸馏版本的优缺点
热门推荐
以为在机器学习领域与人工智能领域深耕多年的老牛
02-08 3万+
在人工智能大模型蓬勃发展的当下，DeepSeek-R1系列大模型凭借其出色的性能和广泛的应用潜力，受到了众多开发者和研究人员的关注。该系列包含1.5B、7B、8B、14B、32B、70B、671B等不同版本，每个版本都有其独特之处。今天，我们就来深入探讨一下这些版本的主要区别，以及各个蒸馏版本的优缺点，帮助大家在实际应用中做出更合适的选择。
0代码！2种方式，一键部署DeepSeek
Serverless 社区
02-10 1037
云应用开发平台 CAP（Cloud Application Platform）是阿里云推出的一站式应用开发和生命周期管理平台。应用开发者可以通过 Serverless 架构来构建容器化、高弹性、免运维的云上应用，也可以通过 AI 大语言模型推动云上应用逐步升级为智能化应用，而 CAP 的应用开发范式正是结合了 Serverless 和 AI 的两者优势，帮助开发者更高效地响应市场变化，快速构建高可用、低延迟的云上应用。
如何在自己mac电脑上私有化部署deep seek
qq_36053756的博客
02-05 1万+
通过以上步骤，你可以在 Mac 电脑上成功私有化部署 DeepSeek。如果有具体问题，可以提供更多细节，我会进一步协助！
DeepSeek在Mac上本地可视化部署，保姆级教程，再也不怕崩了！
Gaga246的博客
02-10 1万+
DeepSeek，全称为“深度求索”，是由杭州深度求索人工智能技术研究有限公司开发的人工智能产品。这个名字体现了团队的核心理念与追求：DeepSeek 不仅仅是为了回答问题，更是致力于深度理解和探索，让 AI 具备类似人类的思考方式。更重要的是，DeepSeek-R1 的性能足以与 ChatGPT 相媲美，且完全免费供用户使用！
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我就是全世界

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值