Llama 4 开源空降！1000 万超长上下文、单 GPU 可跑，还有近 2 万亿参数巨模型

在人工智能领域的激烈竞争中，Meta 于当地时间 4 月 5 日投下重磅炸弹，推出了其最新且最强大的开源人工智能模型 ——Llama 4。此次发布不仅标志着 Meta 在 AI 技术上的重大飞跃，也为整个开源 AI 社区注入了强大动力，有望重塑多模态模型的格局。

Llama 4 的架构创新：混合专家（MoE）的首次应用

Llama 4 系列的最大亮点之一，是首次采用了混合专家（MoE）架构。这种架构打破了传统模型的单一结构模式，将模型划分为多个专注于特定任务的 “专家” 子模型。在训练和回答用户查询时，MoE 架构展现出了更高的效率。以 Llama 4 Maverick 模型为例，在其运行过程中，单个 token 仅激活总参数的一部分，通过交替使用密集层和混合专家（MoE）层，大大提高了推理效率。尽管所有参数都存储在内存中，但服务模型时，仅需激活部分总参数，这使得模型在固定训练 FLOPs 预算下，能够提供比传统密集模型更高的质量。这种创新架构不仅提升了模型性能，还为资源有限的开发者和研究人员带来了福音，让他们能够在较低配置下实现高效的模型应用。

Llama 4 首批模型的卓越性能

Llama 4 Scout：高效多模态与超长上下文的完美结合

Llama 4 Scout 被称作 “同类产品中全球最好的多模态模型”，其性能表现令人惊叹。它拥有 16 位专家、170 亿个活跃参数、1090 亿个总参数，却能在单张 NVIDIA H100 GPU（具有 Int4 量化）上运行。最为引人注目的是，它支持超长的 1000 万 tokens 上下文窗口，这意味着它能够处理多达 500 万个单词的文本，相当于可以处理 20 多个小时的视频内容。在广泛的基准测试中，Llama 4 Scout 的分数超越了 Gemma 3、Gemini 2.0 Flash - Lite、Mistral 3.1 等知名模型，在图像定位方面更是同类最佳，能够精准地将用户提示与相关视觉概念对齐，并将模型响应锚定到图像中的特定区域，为多模态任务中的信息提取和复杂逻辑推理提供了强大支持，尤其适用于文档摘要与大型代码库推理等场景。

Llama 4 Maverick：高性价比的多模态强者

Llama 4 Maverick 同样实力非凡，拥有 128 位专家、170 亿个活跃参数、4000 亿个总参数，适用于单台 H100 主机。在各类基准测试中，它成功击败了 GPT - 4o 和 Gemini 2.0 Flash，并且在推理和编程方面取得了与新 DeepSeek - v3 相当的结果，而其活跃参数还不到 DeepSeek - v3 的一半。从性价比角度来看，Llama 4 Maverick 的实验性聊天版本在 LMArena 上的 ELO 得分为 1417，每 1M tokens 输入和输出推理成本区间（0.19 - 0.49 美元）接近甚至低于 DeepSeek v3.1（0.48 美元）。作为一款通用大语言模型，它在图像精准理解和创意写作方面表现突出，特别适合通用助手、聊天类应用场景，以相对较低的成本提供了高质量的多模态服务。

Llama 4 Behemoth：未来的 AI 巨擘

Meta 还预览了其迄今最强大的新教师模型 ——Llama 4 Behemoth。尽管该模型仍在训练中，尚未正式发布，但已透露的信息足以令人期待。Llama 4 Behemoth 拥有 16 位专家、2880 亿个活跃参数、近 2 万亿个总参数，在多个 STEM 基准测试中的表现优于 GPT - 4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro。它将作为 Maverick 等模型协同蒸馏的教师模型，使用 30T 多模态 token 在 32K 个 GPU 上进行预训练（FP8）。可以预见，一旦 Llama 4 Behemoth 正式发布，必将在 AI 领域掀起新的波澜，为更多复杂任务和前沿研究提供强大支持。

Llama 4 的多模态能力升级

Llama 4 作为一个原生多模态模型，采用了早期融合技术，能够将文本和视觉 token 无缝整合到一个统一的模型框架里。Meta 对其视觉编码器进行了升级，该编码器基于 MetaCLIP，在训练时与冻结的 Llama 模型分开进行，从而能更好地调整编码器，使其与大语言模型（LLM）适配。此外，Llama 4 通过在 200 种语言上预训练实现了对开源微调的支持，其中超过 10 亿个 token 的语言有 100 多种，整体多语言 token 量比 Llama 3 多出 10 倍。这不仅提升了模型质量，还为 Llama 4 Scout 解锁了领先的 1000 万输入上下文长度，使其在多模态任务处理上达到了新的高度，能够更自然地理解和处理多种类型的数据，实现不同格式内容之间的转换。

Llama 4 的开源影响与未来展望

目前，从llama.com和 Hugging Face 可下载 Llama 4 Scout 和 Llama 4 Maverick 模型，并且这些模型很快将在主流云和数据平台、边缘芯片和全球服务集成商上提供。即日起，用户在 WhatsApp、Messenger、Instagram Direct 和 Meta.AI 网站上可试用使用 Llama 4 构建的 Meta AI。Llama 4 模型的开源发布，为全球开发者和研究人员提供了强大的工具，将进一步推动 AI 技术在各个领域的创新应用。同时，Meta 预告将在 4 月 29 日的 LlamaCon 上分享更多关于其愿景的内容，这也让人们对 Llama 4 的未来发展充满期待。随着 Llama 4 生态系统的不断完善，我们有理由相信，它将在人工智能的发展历程中留下浓墨重彩的一笔，引领开源 AI 迈向新的发展阶段。