【AI大模型】Llama 4全网首测来袭,3台Mac狂飙2万亿!多模态惊艳代码却翻车

图片

谁也没料到,大周末的,小扎竟然开源了Llama 4家族。

图片

图片

一共三款模型,首次采用MoE架构,开启了原生多模态的Llama时代!

  • Llama 4 Scout,激活17B,16个专家,109B参数;
  • Llama 4 Maverick,激活17B,128个专家,402B参数;
  • Llama 4 Behemoth,激活288B,16个专家,2T参数。

Llama 4发布后排名瞬间跃升,甚至超过了DeepSeek-V3,Meta再一次回到牌桌。

图片

业界首个1000万上下文,RAG已死?

Meta宣称Llama-4-Scout-17B-16E测试中好于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。甚至,小扎剧透了推理模型也不远了。

图片

但也有网友调侃Llama 4这次是「赶鸭子上架」,所以Llama 4性能到底如何,请看下面网友的实测。

稀疏MoE模型,和苹果芯堪称天作之合

当前,第一批测试结果已经出来了!

苹果ML工程师Awni Hannun实测,Llama 4 Maverick在单台M3 Ultra-512GB上使用MLX推理框架时速度极快,达到了50 token/秒!

图片

与DeepSeek V3/R1类似,Llama 4系都是巨大的稀疏MoE模型。

这些模型拥有极其庞大的参数量,但每次只有少量参数(专家)被激活。由于事先无法预测哪些参数会被激活,因此必须把所有参数同时存放在高速的GPU显存中。

为何对于开源模型,社区大佬都倾向于使用苹果芯片去测试?

图片

一方面,是因为买不到英伟达H100啊。

图片

Awni Hannun表示,更重要的是Apple芯片适合稀疏模型。

GPU显存速度快,但成本昂贵。然而Apple Silicon通过统一内存(Unified Memory)和UltraFusion 技术融合多个芯片,使其能够以更低的成本提供更大容量、中等速度的内存。

一个月前发布的M3 Ultra Mac Studio的统一内存容量高达512GB!

然而,当内存容量增大到这个程度时,内存带宽就不足了。对于512GB版本来说,内存刷新率(每秒GPU可完整遍历所有内存的次数,即内存带宽与容量之比)只有1.56次/秒。与其他硬件对比如下:

  • NVIDIA H100(80GB):37.5次/秒
  • AMD MI300X(192GB):27.6次/秒
  • Apple M2 Ultra(192GB):4.16次/秒(比H100慢9倍)
  • Apple M3 Ultra(512GB):1.56次/秒(比H100慢24倍)

理想情况下,工作负载特性应与硬件特性相匹配。否则,硬件会存在浪费(性能过剩)或瓶颈(性能不足)。对工作负载(此处为批大小=1的推理任务)而言,关键特性是模型稀疏度。

模型的稀疏度定义为 1-(激活参数数/总参数数)。

稠密模型稀疏度为0%(因为激活参数 = 总参数)。各模型稀疏度如下:

  • Llama 3.3 405B:总参数=405B,激活参数=405B,稀疏度=0%
  • DeepSeek V3/R1:总参数=671B,激活参数=37B,稀疏度=94.4%
  • Llama 4 Scout:总参数=109B,激活参数=17B,稀疏度=84.4%
  • Llama 4 Maverick:总参数=400B,激活参数=17B,稀疏度=95.75%(非常高!)
  • Llama 4 Behemoth:总参数=2T,激活参数=288B,稀疏度=85.6%

一般来说,稀疏度越高,越适合内存刷新率较低的Apple Silicon。因此,Llama 4 Maverick显然是最适合 Apple Silicon的模型。

另外更重要的原因就是Apple Silicon是运行大模型最具成本效益的方案,因为统一内存每GB的成本远低于GPU显存:

  • NVIDIA H100:80GB,3TB/s,售价$25,000,每GB成本$312.50
  • AMD MI300X:192GB,5.3TB/s,售价$20,000,每GB成本$104.17
  • Apple M3 Ultra:512GB,800GB/s,售价$9,500,每GB成本$18.55

以2万亿参数巨兽Llama 4 Behemoth为例。

  • 考虑到若用H100来完整容纳Behemoth模型(fp16精度),则需要50块H100,总成本为125万美元;
  • MI300X的总成本则为42万美元;
  • 但若使用M3 Ultra,总成本仅为7.6万美元!

以下是网友@alexocheema对不同版本Mac运行新Llama 4版本的情况进行了全面分析。

图片

Llama 4这次发布的模型最大一个优点之一就是稀疏模型,这给了本地部署很多想象力,也是开源模型的使命。

以精度4-bit为例,使用MLX推理框架可以在具有足够RAM的Mac上部署这些模型。

网友@awnihannun总结了部署Llama 4最新三个模型所需要的最小配置,几乎都可以完成本地部署:

  • Llama 4 Scout 109B参数:64GB的M4 Max;
  • Llama 4 Maverick 400B参数:256GB的M3 Ultra;
  • Llama 4 Behemoth 2T参数:3台512GB的M3 Ultra;

图片

Llama 4很强,就是写代码有点菜

说完了硬件,再来看看Llama 4的实测效果。

网友@gnukeith测试了Llama 4的多模态能力,让模型识别图片中的人物来自于哪个动漫,Llama成功识别!

图片

网友@attentionmech制作了一个模型视觉化网页(简单说就是看模型有多少层,有多深),Llama 4视觉上看起来确实令人惊叹。

图片

网友@philip_kiely使用Llama 4(Maverick)轻松击败了Brick Breaker氛围测试。

图片

当然,也有翻车的,比如网友@fighto测试了「喜闻乐见」的让模型数r的问题,Llama 4 Maverick回答错误。

图片

网友@tariquesha1测试了Llama 4的图像生成能力。

图片

再来看看Llama 4写代码的实战案例。

网友AlexBefest宣布Llama 4 Maverick——Python六边形测试失败。Python六边形测试可以说是每个新发布大模型的「试金石」了。

图片

下面展示了其他模型在Python六边形测试弹跳小球上的结果,来自Github的KCORES团队。

图片

KCORES团队成员karminski-牙医发布了Llama 4 Scout和Llama 4 Maverick的测试结果。

图片

用他的话说,Llama 4 Scout小参数模型开心就好;足足有402B参数的Maverick模型的表现并不是很满意:

  • Scout小参数模型大概接近Grok2的水平(咋还倒退了);
  • 而Mavericks还不如使用DeepSeek-V3-0324;
  • 总之不建议Llama 4写代码

图片

按照KCORES LLM Arena的评测结果,目前最好的模型GPT-4.5-Preview。

图片

当然,目前的测试只针对写代码,其他长文本和多模态领域还需要更多的测试案例。

Llama 4的另一个突破就是支持10M的上下文窗口长度,相当于20个小时的视频。

图片

全网部署Llama 4

不管怎么说Llama 4的发布依然是开源模型的又一剂强心针。

各家巨头和平台同时宣布支持最新的Llama 4。

微软CEO Satya Nadella宣布马上将Scout和Maverick发布在Azure AI Foundry平台。

图片

Cerebras宣布将在下周完成Llama 4最新模型的部署。

图片

Together AI上也同步推出Llama 4模型,作为Meta的发布合作伙伴,还支持Together API的方式来访问Llama 4 Maverick 和Llama 4 Scout。

图片

T3 Chat也宣布Llama 4 Scout和Maverick均已启动,Scout由Groq托管,而Maverick由OpenRouter托管,并且声明了小参数模型Scout非常便宜,决定免费发布。

图片

Databricks数据智能平台宣布使用Llama模型来为AI应用程序、智能体和工作流程提供支持。

图片

接下来还会有更多的平台跟进Llama 4最新模型,就像几个月前各家平台也是「疯狂」上线DeepSeek一样。

还有一个问题,为啥小扎选在他们的休息日发布Llama 4,马上就周一了啊?

Defined和Liftoff的联合创始人Nathan Lambert说顶尖Lab的领导们都会知道其他Labs的发布计划。

难道说小扎知道下周会有什么「疯狂」的模型发布可能会盖过Llama 4的风头,所以「赶鸭子上架」吗。

图片

首先在Llama 4的Github Model_Card的更新日志中,发现一个改动:

模型发布的日期从美国时间的4月7号改到了4月5号(也就是我们4月6号的凌晨)!

图片

所以,周一Meta还会发布什么新模型吗?

在llama.com的官网上,我们看到了llama4-resoning-is-coming的后缀,似乎预示着llama-4推理模型也要马上发布了!

图片

而奥特曼继续放出他的烟雾弹,在社交媒体不停的预热:OpenAI接下来也要放大招了!

图片

而不论是此前奥特曼宣布GPT5、o3和o4-mini的消息,还是Llama 4的发布,还是DeepSeek和清华共同发布的论文,似乎预示着一件事:

所有人都在等待并期待着DeepSeek-R2!

图片

请大家做好准备,也许这一周即将是「疯狂」的一周。

最后的最后

感谢你们的阅读和喜欢,作为一位在一线互联网行业奋斗多年的老兵,我深知在这个瞬息万变的技术领域中,持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友,我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶,也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出,而且非常实用,让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习,相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

大模型知识脑图

为了成为更好的 AI大模型 开发者,这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值