两台苹果跑满血DeepSeek！512G大内存真AI PC来了

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

只要两台苹果Mac Studio，在家就能跑满血DeepSeek R1了？

一家大模型工作室在推特上宣布，成功用两台搭载512GB M3 Ultra的Mac Studio，以20token每秒的速度成功运行8bit版R1。

而且经过一波核算，用M3 Ultra来跑模型，每GB内存的成本还不到H100的6%。

这家工作室就是EXO Labs，专门研究把大模型放到各种设备上运行。

之前让MacBook、iPad、手机等设备组成集群跑Llama 405B的分布式推理框架，就是这家工作室的手笔。

前面“H100的6%”这一结果，也是由其创始人Alex Cheema计算得出，并且这里M3 Ultra算的是整机价格，而H100只是单独一块卡。

有网友评价说，在老黄的衬托下，苹果都显得有性价比了。

而且高达512GB统一内存的这种大显存设定，非常适合跑R1这样的MoE模型。

所以有网友在推特上喊话EXO Lab，表示想看8台Mac Studio联机的表现。

EXO Lab则回应说，有没有谁来搞个2T参数的MoE模型，顺便又期待了一波R2。

消息传到微博后，国内网友也评价说，这回苹果是搞了个真·AI PC。

MoE架构模型的好搭档

这次Mac Studio搭载的M3 Ultra，分为28核CPU+60核GPU和32核CPU（24个性能核心和8个能效核心）+80核GPU两种配置，均配有32核的神经引擎。

统一内存则提供了96GB、256GB和512GB三种容量，内存带宽达到了819GB/s，其中512GB只能搭配32核CPU+80核GPU的版本。

据苹果介绍，装有M3 Ultra的Mac Studio，可以在本地运行600B参数的大模型。

性能上，M3 Ultra版运行千亿参数大模型的token生成速度是M1 Ultra的16.9倍、M2 Ultra的两倍多。

AI视频处理性能，则是Intel版Mac Pro的9.1倍，M1 Ultra的1.3倍。

至于售价，M3 Ultra版的起售价格（28C+60G+96GB+1TB）为3999美元，国行版本32999元人民币。

最高配版（32C+80G+512GB+16TB）价格则是14099美元，国行版108749人民币。

如开头介绍，针对这样的配置和价格，EXO Labs的创始人Alex Cheema算了这样一笔账：

• NVIDIA H100：80GB，售价25000美元，相当于312.50美元每GB；

• AMD MI300X：192GB，售价20000美元，相当于104.17美元每GB；

• Apple M2 Ultra：192GB，售价5000美元，相当于26.04美元每GB；

• Apple M3 Ultra：512GB，售价9500美元，相当于18.55美元每GB。

也就是说，M3 Ultra平均下来每GB内存的价格仅有H100（并且还是没被炒上天的官方价格）的5.9%，和M2 Ultra相比也降低了28.7%。

不过如果考虑到内存速度，情况则有所不同：

• NVIDIA H100：3TB/s，25000美元，相当于8.33美元每GB/s；

• AMD MI300X：5.3TB/s，20000美元，相当于3.77美元每GB/s；

• Apple M2 Ultra：800GB/s，5000美元，相当于6.25美元每GB/s；

• Apple M3 Ultra：800GB/s，9500美元，相当于11.875美元每GB/s。

也就是说，不管是和H100比，还是和前一代的M2 Ultra比，M3 Ultra上单位速度的成本都要更高，相当于牺牲了一部分速度换取更高的容量。

但是如果考虑到以R1为代表的MoE模型的运行特点——总参数量大，但运行时激活参数量相对较小，对内存速度的需求，相对容量而言重要性要低一些。

并且EXO Labs的运行结果也显示，R1在两台512GB M3 Ultra的Mac Studio上跑出了20token每秒的速度，已经达到了可接受的水平。

所以这样看来，M3 Ultra搭配稀疏MoE模型，依然是一对不错的搭档。

还有其他苹果新品

除了M3 Ultra版Mac Studio，苹果最近还上线了一波其他新品。

包括Mac Studio本身，也还有一个装配M4 Max芯片的版本。

起步14核CPU+32核GPU+36GB统一内存+512GB固态，最高16核CPU+40核GPU+128GB统一内存+8TB固态，搭配16核神经引擎，售价16499-45749元。

笔记本也上新了MacBook Air，搭载M4芯片。

13寸版本，起售价7999元（10C+8G+16GB内存+256GB固态）；15寸版本，起售价9999元（10C+10G+16GB内存+256GB固态）。

此前一天，苹果还发布了新款iPad和iPad Air。

iPad搭载A16芯片，WLAN版起售价2999元，蜂窝版起售价4299元（均为128GB存储）；最高512GB存储，WLAN和蜂窝版分别为5199元和6499元。

iPad Air则采用M3芯片，分11寸和13寸两个尺寸，起售价分别是4799元和6499元（128GB，WLAN版），最高价分别为9999和11699元（1TB，蜂窝版）。

你会不会入手苹果的新产品呢？欢迎留言跟我们分享。

参考链接：
[1]https://x.com/alexocheema/status/1897349404522078261
[2]https://x.com/exolabs/status/1897360590987051041
[3]https://x.com/exolabs/status/1897433256032641399