Llama 3.1磁力链提前泄露！开源模型王座一夜易主，GPT-4o被超越

历史再次重演，Llama 3.1 405B提前泄露了！

现在，基准测试和磁力链已经传得满天飞了。

除了最大的405B，Meta这次还升级了5月初发布的8B和70B模型，并将上下文长度全部提升到了128K。

至此，模型版本也正式从Llama 3迭代到了Llama 3.1。

根据磁力链提供的信息，新模型大小为763.48GiB（约820GB）。

从泄露的「基准测试」可以看出，连8B小模型都很能打，而70B的模型，性能在多项基准上都能赶超GPT-4o了。

开发者们看到测试结果后也原地炸锅，Topology CEO Aidan McLau惊呼道——

如果Llama 3-405B的基准测试是真的，它将

- 成为世界上最好的模型

- 每个人都可调

- 比GPT-4o还便宜！

HyperWriteAI CEO Matt Schumer预言：它定将成为开源模型中的SOTA。（连70B都能和GPT-4o掰手腕，何况这还是在指令微调之前。）

想象一下，一个GPT-4o级别的模型，以每秒330个token的速度运行，价格还要便宜10倍。这简直太令人兴奋了。

明天，将是狂野的一天！

而小扎的一句话，更是暗示着405B的到来——重大一周前的宁静时刻。

众多网友在线逼问OpenAI：新模型啥时候放出？

Llama 3.1家族，明日上线

---

根据泄露的模型卡，Llama 3.1将在23日发布。

许可证为「定制商业许可」和「Llama 3.1社区许可」。

泄露的Model Card：https://pastebin.com/9jGkYbXY

具体来说，多语言大模型 Llama 3.1系列是一组预训练和指令微调的生成模型，包括8B、70B和405B三种参数规模。

指令微调后的Llama 3.1纯文本模型（8B、70B、405B），针对多语言对话用例进行了优化。

除了英语，它还可以支持7种语言，包括德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

据介绍，Llama 3.1的新增能力包括，更长的上下文、支持多语言输入和输出，以及开发者与第三方工具的集成。

基准测试

在GitHub上一张基准图（现404）显示，Llama 3.1在基准测试中的优异表现。

具体来说，在基准预训练模型的基准评测中，Llama 3.1 405B在通用任务、知识推理、阅读理解上创下最新纪录。

尤其在，MMLU、SQuAD细分基准上，提升最为明显。

与此同时，Llama 3.1 8B和70B参数版本，相较于Llama 3，得到了细微地改善。不过，有些指标，70B Llama 3.1还不如前一代。

另外，指令微调模型中，看得出Llama 3.1 405B比预训练模型更强。在推理、代码、数学、工具使用、多语言基准上，纷纷碾压微调后的8B和70B版本。

Llama 3.1 8B和70B微调模型，同样在多项能力任务中，性能大幅提升。

还有网友汇总了其他领先模型的基准，通过对比可以看出，Claude 3.5 Sonnet才是所有基准中的王者。

Llama 3.1 405B微调版本仅在数学基准MMLU Pro上，最能打，以73.3%成绩打败所有大模型。

另外，405B在GPQA（研究生水平的专业知识和推理）、数学、DROP（阅读理解）、MGSM（多语言数学）、HumanEval（编程），BBH（知识评估）基准上，与GPT-4o不相上下。

而且，405B大幅领先最新GPT-4o mini模型。

Llama 3.1是一个自回归语言模型，使用优化的Transformer架构。调整后的版本使用了SFT和RLHF，以符合人类对安全的偏好。

对于Llama 3.1系列模型，token计数仅指预训练数据。

所有模型的版本，都使用分组查询注意力（GQA）来提高推理的可扩展性。

15T token训练数据

与Llama 3一样，Llama 3.1也是在大约15万亿个来自公开可用来源的token上进行了预训练。

微调数据包括公开可用的指令数据集，以及超过2500万个合成样本，预训练数据截止到2023年12月。

商用研究皆可

Llama 3.1支持多语言环境下的商业和研究用途。

经过指令微调的纯文本模型适用于聊天助手，而预训练模型可以适应各种自然语言生成任务。Llama 3.1模型集合还支持利用其模型输出来改进其他模型，包括合成数据生成和模型蒸馏。

违反使用法律法规、被使用政策和Llama 3.1社区许可证禁止、支持语言之外的使用，都属于超出范围。

并且团队强调，除了支持的8种语言，Llama 3.1在更广泛的语言集合上进行了训练。开发者对其进行微调，就可以在其他语言上适用，前提是遵守社区许可证等政策，并保证使用是安全和负责的。

3930万GPU小时训练

在预训练时，Meta使用了定制的训练库、Meta定制的GPU集群和生产基础设施。微调、注释和评估也都是在生产基础设施上进行的。

训练累计使用了3930万GPU小时的计算时间，硬件类型为H100-80GB（TDP为700W）。

训练时间是训练每个模型所需的总GPU时间，功耗是每个GPU设备的峰值功率容量，根据功率使用效率进行了调整。

训练的总位置基温室气体排放估计为11,390吨二氧化碳当量（CO2eq）。

Meta强调，自2020年以来，自己一直保持着净零的温室气体排放，并且100%的电力都是由可再生资源生成的，因此基于市场基准的总温室气体排放为0吨二氧化碳当量。

重大风险

在重大风险上，Meta也做了测试。

包括CBRNE（化学、生物、放射性、核和爆炸材料）有用性、儿童安全和网络攻击。

在网络攻击上，团队调查了LLMs是否可以提高人类在黑客任务中的能力，包括技能水平和速度。

研究重点在评估LLMs在网络攻击行动中用作自主Agent的能力，特别是被勒索软件攻击时。

主要目标就是评估这些模型是否能在没有人为干预的情况下，有效地作为独立Agent执行复杂的网络攻击。

网友炸锅，再一次见证历史

---

磁力链放出后，迫不及待的网友直接开始下载，不过这可能需要等待很久。

一部分网友开始坐等Llama 3.1 405B明天发布，再一次见证历史！

开源模型与闭源模型的差距，再次缩小了。

还有人测试了「9.11和9.9谁大」的经典陷阱题，Llama 3.1-405B竟答对了。

对于「GPU穷人」来说，820GB在笔记本上运行实在是太勉强了。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】