苹果新品!DeepSeek玩家只要15万元,在家跑满血版R1

👇我的小册 45章教程:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。

👇我的小册 AI工具100个实战小案例:(100个AI工具实战小案例) ,原价299,限时早鸟价29,满100人涨10元。

转自:量子位 | 公众号 QbitAI

号称地表最强的M3 Ultra,本地跑满血版DeepSeek R1,效果到底如何?

其实,有些DeepSeek玩家们已经提前拿到手做过实测了。

例如这位Alex老哥就是其中之一:

他提前拿到了两台搭载M3 Ultra的Mac Studio,配置是这样的:

  • M3 Ultra(32 核中央处理器、80 核图形处理器和 32 核神经网络引擎)

  • 512G统一内存

  • 1TB固态硬盘

具体来说,Alex老哥用配备Thunderbolt 5互连技术(传输速率为 80Gbps)的EXO Labs设备,来运行完整的DeepSeek R1模型(671B、8-bit)。

然后效果是这样的:

嗯,跑通了!

Alex老哥表示,两台Mac Studio本地跑满血版DeepSeek R1,实际速度是11 tokens/秒,理论上可以达到20 tokens/秒。

至于价格嘛,一台上述配置的Mac Studio是74249元,两台就是小15万元

或许很多小伙伴觉得这个价格有点略贵。

但在M3 Ultra之前啊,如果你想在本地使用显卡来推理V3或R1,那么就得起码需要6、7张A100……大约小100万元

也正因如此,也有不少网友认为搭载M3 Ultra的Mac Studio,堪称是“性价比最高的大模型一体机”

值得注意的是,苹果这次似乎是主动给DeepSeek玩家们提前发货,有种让他们赶紧测一测的意味。

毕竟在发布之际,苹果就强调了可以在M3 Ultra版Mac Studio中跑超过6000亿参数的大模型。

掀起一波本地跑DeepSeek的风

其实在M3 Ultra版Mac Studio发布前后,已经有不少人做过类似的评测。

例如B站博主“虽然但是张黑黑”的测试结果是:

  • 15.78 tokens/秒:采用Ollama的GGUF格式

  • 19.17 tokens/秒:采用更适合苹果的MLX格式

这个速度已经跟在线使用DeepSeek R1的速度相媲美了。

除此之外,像外网博主Xcreate还把M3 Ultra版Mac Studio和M4 Max版Macbook Pro的拉到一个“擂台”做了比较。

首先从性能上来看,Geekbench测试的结果显示,M3 Ultra在CPU性能方面与M4 Max非常接近,但M3 Ultra略胜一筹。

在本地运行大模型测试方面,博主在运行基于Llama的DeepSeek R1 70B模型时,M3 Ultra的速度为11.3 tokens/ 秒,而M4 Max测试结果为10.69 tokens/秒,差距并不是很大。

但更重要的是测试满血版DeepSeek R1的结果。

对此,博主认为在本地完整运行671B的DeepSeek是有点困难的,因为已经有人宣告失败。

但也有成功的例子。

他举例另一位评测人员的结果,显示是运行8bit量化版本的DeepSeek R1,得到了9-21 tokens/秒的速度。

而在4bit量化版情况下,速度为16-18 tokens/秒。


至于为什么体量更大的671B的DeepSeek,会比70B运行速度更快,是因为DeepSeek将671B模型分片为 “专家混合体”,实际运行时根据问题切换,类似运行30B的模型。

最后,博主也提醒想要在本地运行大模型的友友们,网传苹果将在今年WWDC上发布M4 Ultra,所以可以再观望一下。

图片

最后推荐一下我们团队写的量化小册的内容,45篇内容!从Python安装,入门,数据分析,爬取股票基金的历史+实时数据,以及如何写一个简单量化策略,策略回测,如何看资金曲线统统都有介绍!非常超值!

欢迎订阅:原价299 早鸟价2杯咖啡钱,即可永久阅读。满400人又要涨价了,现在的价格非常非常低,只要2杯奶茶,就可以终身订阅+课程源码,还有永久陪伴群。48小时无理由退款,放心食用!

图片

往期推荐
量化: 如何用Python爬取创业板历史+实时股票数据!|实战股票分析篇利用Pandas 9招挖掘五粮液股价!|实战股票数据分析篇 Pandas滚动操作 |量化股票第一步,用Python画股票K线,双均线图,可视化你的股票数据!|如何用Python爬取全部800多只ETF基金数据!|如何用Python写一个双均线策略 |如何用Python开发一个多策略机器人!上篇!|Python量化系列-用布林策略买五粮液能赚多少钱?|只要4秒钟!用Python 获取上证指数34年的历史日线数据!
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值