Llama4模型深度解析：细节与效果实测报告！

前面几天MetaAI发布了Llama4模型，终于来啦！开源社区也是等了很久。

本次共两系列模型Scout和Maverick模型，两个模型均为MoE架构模型，DeepSeek得含金量还在提高，哈哈哈！

榜单效果反正是杠杠滴。

HF模型路径：https://huggingface.co/collections/meta-llama/llama-4-67f0c30d9fe03840bc9d0164

模型的总体信息如上图所示，

• 模型MoE架构中，无论是Scout还是Maverick，激活的路由专家数据均为1，有点奇怪，之前MoE架构一般激活路由专家数据都是2或更多，不知道这里是不是有什么说法！欢迎评论区讨论！当然128激活8，跟16激活1一样，但不是专家粒度越细，效果越好吗？

  

• 预训练阶段Llama4训练采用了200多种语言，其中100多种的Tokens总是超过1B，但Llama4 Instruct模型仅写了支持阿拉伯语、英语、法语、德语、印地语、印度尼西亚语、意大利语、葡萄牙语、西班牙语、他加禄语、泰语和越南语 12种。对的，没有中文，虽然可以中文问答，可能是故意没写，也可能是没有专门进行训练，也可能是因为xxx，反正我感觉格局有点小了。

• 使用FP8精度进行模型训练，在使用FP8和32KGPU 对 Llama 4 Behemoth（2T参数） 模型进行预训练，实现了 390 TFLOPs/GPU。

• 后训练：SFT -> online RL -> 轻量 DPO 。

• Scout上下文扩充到10M，采用iRoPE结构，通过交错注意力层（Interleaved Attention Layers） 和 推理时温度缩放（Temperature Scaling） 消除位置嵌入（Position Embeddings）的限制，支持更长的输入序列，而温度缩放则通过调整注意力权重的分布，进一步提升了模型的泛化能力。

  

• Llama 4 Behemoth暂未开源，还在训练ing，总参数近2T，激活参数288B，16 个专家，同时也是Maverick的教师模型。与数据蒸馏不同，Llama4貌似采用之前传统的蒸馏丰方法，通过训练动态加权软目标和硬目标，一般软目标就是logits，细节不知道，等公布再说。

• Llama4是多模态模型，采用了早期融合技术，通过海量的无标签文本、图片和视频数据一起来预训练模型，提高模型后续视觉理解能力。图像的部分是一个单独的编码器，通过一个Linear的projector进行桥接。

• 其他没啥了，等一手2T的模型，但是我也跑不了~~

下面是模型测试，因为本地模型还在下载，就用lmsys上对战模型进行测试。仅测试Maverick模型，lmsys上标记的是llama-4-maverick-03-26-experimental，也就是号称开源第一的那个模型。

https://lmarena.ai/?leaderboard

其中，参数跟模型config里保持一致，

总体体验其实不好，感觉不太行，不知道是lmsys上的问题，还是什么问题，反正体感和效果都不理想。

• 模型回答特别喜欢延申，回答完问题之后，喜欢给你再举几个例子，然后例子有时就很不恰当，过度回答；

• 也许我问的都是中文问题，反正效果我真觉得一般，不如Qwen。

• 回答超级喜欢代表情，是不是因为用了很多facebook中的评论对话数据呀。

正式测试开始：

• 常规测试

• 将“I love Llama4”这句话的所有内容反过来写

  

  说明：结果不对，但知道可以写代码反转一下。

• 依旧弱智吧

• 生蚝煮熟了叫什么？

  

  

  说明：接受的吧，但真不知道在哪儿延申啥呢，越延申看着答案越奇怪。

• 用水来兑水，得到的是浓水还是稀水

  

  说明：稀水，不过解释了，可能是因为问法中说的是浓水还是稀水吧，但别的模型可以回答水，既不是浓水也不是稀水。。。

• 依旧小红，依旧老鹰

• 小红有2个兄弟，3个姐妹，那么小红的兄弟有几个姐妹

  

  
  说明：后面我没有截到，还给我列个表格，说各种人问这个问题答案是啥，画蛇添足ing。

• 未来的某天，李同学在实验室制作超导磁悬浮材料时，意外发现实验室的老鼠在空中飞，分析发现，是因为老鼠不小心吃了磁悬浮材料。第二天，李同学又发现实验室的蛇也在空中飞，分析发现，是因为蛇吃了老鼠。第三天，李同学又发现实验室的老鹰也在空中飞，你认为其原因是

  

  说明：这题确实难，老鹰反正不会飞！

• 数学

• 2024年高考全国甲卷数学（理）试题

  

  

  说明：对了。

• R1满血测试题：在平面四边形ABCD中，AB = AC = CD = 1,\angle ADC = 30^{\circ},\angle DAB = 120^{\circ}。将\triangle ACD沿AC翻折至\triangle ACP，其中P为动点。 求二面角A - CP - B的余弦值的最小值。

  

  说明：没对。

• 大数计算：178939247893 * 299281748617等于多少？

  

  说明：没对，答案是53553251005627872913981。然后感谢你教我怎么读~~~

• 伦理、数学、生物终极测试：有一天，一个女孩参加数学考试只得了 38 分。她心里对父亲的惩罚充满恐惧，于是偷偷把分数改成了 88 分。她的父亲看到试卷后，怒发冲冠，狠狠地给了她一巴掌，怒吼道：“你这 8 怎么一半是绿的一半是红的，你以为我是傻子吗？”女孩被打后，委屈地哭了起来，什么也没说。过了一会儿，父亲突然崩溃了。请问这位父亲为什么过一会崩溃了？

  

  说明：没对，没回答点子上。

• 代码

• 卡片：生成一个打工人时钟的html页面

  

  其他代码，贪吃蛇、弹球因为输出长度不足，生成不完，我就没测，但是单看这个时钟这个反正不如Gemini2.5 pro好看。并且按道理今天不上班！！！

• 创作

• 用贴吧嘴臭老哥的风格点评大模型套壳现象

  

  

  说明：跟我没关系，全是llama4回答的，我其实不理解他为什么指名道姓。感觉没有完全理解我的意思，没有从全面出发，评价这一现象。

整体测试感觉不是很好，可能是因为Maverick模型适合创意任务造成？问答喜欢发散？可能英文提问更好吧，但是我都是中文场景，就这么测了！欢迎大家评论区讨论！

不过好像llama4的reasoning模型也快来了~

对了，怎么还没用Chinese-Llama4的Github项目，这不都是搞star的机会嘛，哈哈哈。也许在训练ing，也许需要设备有点多了，普通人不好搞了？

这次Llama4的整体兴奋度让我不是很高，也许我内心更喜欢看到国产的开源，哈哈哈哈！病了3天，下午爬起来写完了这篇测试！

 一、大模型风口已至：月薪30K+的AI岗正在批量诞生

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

 

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

*   大模型 AI 能干什么？
*   大模型是怎样获得「智能」的？
*   用好 AI 的核心心法
*   大模型应用业务架构
*   大模型应用技术架构
*   代码示例：向 GPT-3.5 灌入新知识
*   提示工程的意义和核心思想
*   Prompt 典型构成
*   指令调优方法论
*   思维链和思维树
*   Prompt 攻击和防范
*   …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

*   为什么要做 RAG
*   搭建一个简单的 ChatPDF
*   检索的基础概念
*   什么是向量表示（Embeddings）
*   向量数据库与向量检索
*   基于向量检索的 RAG
*   搭建 RAG 系统的扩展知识
*   混合检索与 RAG-Fusion 简介
*   向量模型本地部署
*   …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

*   为什么要做 RAG
*   什么是模型
*   什么是模型训练
*   求解器 & 损失函数简介
*   小实验2：手写一个简单的神经网络并训练它
*   什么是训练/预训练/微调/轻量化微调
*   Transformer结构简介
*   轻量化微调
*   实验数据集的构建
*   …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

*   硬件选型
*   带你了解全球大模型
*   使用国产大模型服务
*   搭建 OpenAI 代理
*   热身：基于阿里云 PAI 部署 Stable Diffusion
*   在本地计算机运行大模型
*   大模型的私有化部署
*   基于 vLLM 部署大模型
*   案例：如何优雅地在阿里云私有部署开源大模型
*   部署一套开源 LLM 项目
*   内容安全
*   互联网信息服务算法备案
*   …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】