超级会员免费看
在M4 Mac Mini集群上运行DeepSeek V3 671B
原创 咖农小黄 幻想发生器 2024年12月30日 10:50 天津
我们刚刚在苹果硅芯片上运行了最大的开源模型。
直接来看在8台 M4 Pro 64GB Mac Mini 集群（总内存512GB）上运行DeepSeek v3（671B）的结果：
| 模型 | 首个Token时间（秒） | 每秒Token数 |
|---|---|---|
| DeepSeek V3 671B（4位） | 2.91 | 5.37 |
| Llama 3.1 405B（4位） | 29.71 | 0.88 |
| Llama 3.3 70B（4位） | 3.14 | 3.89 |
等等，DeepSeek有671B参数
订阅专栏 解锁全文
扫一扫
78
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
