Llama3.1技术报告简要解读--附PDF

已于 2024-09-19 12:47:56 修改
阅读量5k 收藏 34
点赞数 16
文章标签： transformer chatgpt 深度学习 人工智能 llama
于 2024-07-29 00:44:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45965387/article/details/140675122
版权

以为前些天是在炒作llama3.1泄露，没想到Meta在24号凌晨直接开源了，包括三个不同参数规模的模型（8B、70B、405B），三个模型上下文长度都是128K，其中超大杯拥有4050亿参数，从评测指标来看必是最强开源模型了，在闭源模型中也属于第一梯队，与 GPT-4/Claude 3.5 同级。(其实405B模型对于中小企业来说最大的价值是蒸馏了，根本跑不动)

加载模型检查点所需的 GPU VRAM

加载模型检查点所需的 GPU VRAM

KVcache占用

KV cache

在这里插入图片描述
在这里插入图片描述

Hugging Face下载链接：https://huggingface.co/collections/meta-llama/llama-31-669fc079a0c406a149a5738f
Meta官网下载链接：https://llama.meta.com/

小扎前段时间还说可能未来不会开源模型了，当时我以为LLM开源黄昏了，没想到现在直接来波王炸，还给写了一封"关于为什么他相信开源是前进的道路"的信，这波直接respect好吧。
部分

Meta还发布了一本 92 页的 PDF技术报告，详细介绍了该模型。技术报告以及谷歌翻译后的中文版都放在文末链接了，有需要自取。

下面就对技术报告简单总结一下，还是推荐大家自己读一下，里面细节多（有挺多trick），毕竟这可是顶级企业花费巨大代价才有的经验，还免费共享出来，不学一波可说不过去了(这不白嫖)。

推上面Daniel Han大佬将该模型相较于以前Llama的变化总结为一张图：

在这里插入图片描述

在这里插入图片描述

张俊林画的模型结构图
最低0.47元/天 解锁文章
泽也AI
关注
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL、SQL-PaLM）、新一代数据集BIRD-SQL解读
丨汀、的博客
04-15 2232
NL2SQL进阶系列(5)：论文解读业界前沿方案（DIN-SQL、C3-SQL、DAIL-SQL）、新一代数据集BIRD-SQL解读
DeepSeek v2/v3技术解读
最新发布
hang on it more longer
02-09 1490
v2论文：[2405.04434] DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Modelv3论文：[2412.19437] DeepSeek-V3 Technical Reportv3源码：https://github.com/deepseek-ai/DeepSeek-V3我们提出了 DeepSeek-V2，一个强大的混合专家 (MoE) 语言模型，其特点是经济的训练和高效的推理。它包含 2360
Llama 3.1 技术研究报告-3
余生的博客
09-24 1282
我们通过对预训练检查点进⾏多轮后训练，或在预训练检查点的基础上与⼈类反馈（Ouyang等⼈，2022年；Rafailov等⼈，2024年）对⻬模型，以产⽣对⻬的Llama 3模型。每⼀轮后训练包括监督式微调（SFT）和直接偏好优化（DPO；Rafailov等⼈，2024年），这些操作都是在通过⼈⼯注释或合成⽣成的⽰例上进⾏的。我们的后训练建模和数据⽅法分别在第4.1节和第4.2节中描述。我们进⼀步在第4.3节中详细说明了定制数据管理策略，以提⾼推理、编码、事实性、多语⾔、⼯具使⽤、⻓上下⽂和精确指令跟随能⼒
Llama 3.1 技术研究报告-5
余生的博客
09-27 1201
除了在标准基准测试集上的评估外，我们还进⾏了⼀系列⼈类评估。这些评估使我能够测量和优化模型性能的更微妙⽅⾯，例如模型的语调、冗⻓性和对细微差别及⽂化背景的理解。精⼼设计的⼈类评估密切反映了⽤⼾体验，提供了模型在现实世界场景中表现的洞察。提⽰收集。我们收集了涵盖⼴泛类别和难度的⾼质量提⽰。为此，我们⾸先开发了⼀个包含尽可能多模型能⼒的类别和⼦类别的分类体系。我们使⽤这个分类体系收集了⼤约7000个提⽰，涵盖六个单独能⼒（英语、推理、编码、印地语、西班⽛语和葡萄⽛语），以及三个多轮能⼒11（英语、推理和编码）。
张俊林：LLama3 405B 技术解读
lqfarmer的博客
07-25 501
原先小模型预训练目标是根据上文context信息正确预测Next Token，而蒸馏则改成Teacher把自己做相同上下文做Next Token预测的时候，把Token词典里每个Token的生成概率都输出来，形成Next Token的概率分布，这就是Teacher交给Student的额外附加信息，小模型从原先的预测Next Token改为预测Next Token的概率分布，要求和Teacher输出的分布尽量一致，这样就学到了Teacher的内部信息。后来大家都开始猛加数据，小模型的效果就越来越好。
LLaMA 3 技术报告解读：全面梳理 LLM 相关技术栈
xx_nm98的博客
07-30 2649
作者也进行了缩放法则实验，其 405B 模型是在给定训练预算下近似计算最优模型，而更小的模型（8B/70B）相比计算最优训练了更长的时间，以便在给定推理预算下最优（PS：这也是现在很多小模型的常见手段，小模型训练更长的时间，以便在推理时在更低成本下获得还不错的效果）。本周 Meta 发布了其最新的 LLaMA 3.1 系列模型，在社区中引起广泛关注和讨论，最大的 LLaMA 3.1 405B 模型原生支持 128K 上下文窗口，在各种基准上评估表明，其效果甚至媲美 GPT-4o 等领先的闭源模型。
【LLM大模型】Llama3.1技术报告解读
瓦罗兰特顶级C位的博客
08-16 1242
Llama3.1共开源了8B、70B、405B三种参数量的模型，三个模型具体信息如下图，其中405B除了BF16精度，还有FP8量化版模型，针对8B额外开源了经过内容安全分类微调的Llama-Guard-3-8B。
Llama 3.1 92页技术报告详细解读
2401_85375186的博客
08-10 1236
至此，我们已经深入探讨了Llama 3.1技术报告的核心内容。从模型参数的选择到基础设施的搭建，从预训练数据的处理到后训练阶段的优化，我们全面审视了这个大规模语言模型的诞生过程。Llama 3.1的开发不仅展示了Meta在人工智能领域的技术实力，更为整个AI社区提供了宝贵的经验和见解。它的开源性质意味着这些先进技术将被更广泛地应用和改进，推动整个行业的进步。然而，我们也要认识到，尽管405B参数的模型展现了惊人的能力，但在实际应用中，模型的选择还需要考虑效率、成本和具体需求等多方面因素。
多模态大模型MiniGPT4论文《Minigpt-4: Enhancing vision-language understanding with advanced large languag》简要介绍
qq_37261357的博客
04-03 2681
最近发布的GPT-4表现出非凡的多模态能力，比如直接从手写文本生成网站和识别图像中的幽默元素，这些能力在先前的工作中很少见，但是GPT-4背后的技术细节仍未公开。作者认为GPT-4增强的多模态生成能力源于利用复杂的大型语言模型（LLM）。为了研究这一现象，我们提出了MiniGPT-4，通过一个映射层（Projection ）将一个冻结的视觉编码器与一个冻结的先进LLM Vicuna进行对齐。
农业大模型：关键技术、应用分析与发展方向
python122_的博客
05-31 3018
结论/展望］
深度解读 Llama 3.1 技术报告：从405B参数到24000块H100集群
weixin_41496173的博客
08-06 3063
Meta在最近发布了他们的开源大模型Llama 3.1，引起了广泛的关注和讨论。随着热度逐渐退潮，Llama 3.1 的详细技术报告也公开了。这份报告揭示了很多关于Llama 3.1 的技术细节和实现原理。本文将从模型参数、基础设施、预训练、后训练等方面，详细剖析Llama 3系列模型的关键技术。
Llama 3.1 技术研究报告-7
余生的博客
09-30 1921
我们评估了 Llama 3 在⼀系列任务上的图像理解能⼒，这些任务涵盖了⾃然图像理解、⽂本理解、图表理解和多模态推理：表 29 展⽰了我们的实验结果。表中的结果表明，附加到 Llama 3 的我们的视觉模块在不同模型容量的⼴泛图像识别基准测试中表现出竞争⼒。使⽤结果产⽣的 Llama 3-V 405B 模型，我们在所有基准测试中都优于 GPT-4V，虽然略逊于 Gemini 1.5 Pro 和 Claude 3.5 Sonnet。Llama 3 405B 在⽂档理解任务上表现出特别的竞争性。我们在三个基准上
《Llama 3大模型》技术报告中英文版，95页pdf
2401_82469710的博客
08-26 1071
现代人工智能（AI）系统由基础模型驱动。本文介绍了一套新的基础模型，称为Llama 3。它是一群本地支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个具有4050亿参数和高达128K令牌上下文窗口的密集Transformer。
《Llama 3大模型》技术报告中英文版，附95页pdf
瓦罗兰特顶级C位的博客
12-14 1036
现代人工智能（AI）系统由基础模型驱动。本文介绍了一套新的基础模型，称为Llama 3。它是一群本地支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个具有4050亿参数和高达128K令牌上下文窗口的密集Transformer。
一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理
热门推荐
结构之法 算法之道
07-24 2万+
llama3 刚出来时，其长度只有8K对于包括我司在内的大模型开发者是个小小的缺憾，好在很快，在7.23日，Meta发布了Llama 3.1，长度终于达到了128K这个长度使得可以直接通过我司的paper-review数据集去微调了如此，便有了本文：解读下llama3.1的paper，结果一看92页，好在昨天我司上线了基于大模型的翻译系统，​那先翻译一下 快速看下大概 然后慢慢抠。
【AGI】Llama-3 官方技术报告
youcans的博客
07-25 5497
Meta开源Llama 3大模型，并发布92页重磅技术报告，全面揭秘其背后的技术细节，涵盖数据、训练、多模态等多个方面。
Llama3.1技术报告极简概况
weixin_54878690的博客
08-30 1996
Llama 3是一个具有405B参数的大模型, 在评估方面达到了GPT4的水平, 但在实用性等方面其实还并不能相比.Llama 3通过compositional这个方法添加了图片, 视频, 语音的能力.
论文笔记--Llama3 report
weixin_38124427的博客
04-22 3363
Meta最新开源模型Llama3-8B, Llama3-70B
llama3.1-8b
02-07
### 关于Llama3.1-8B模型的参数、版本以及下载和使用说明 #### 模型概述 Ollama 提供了一个用于大规模语言模型（LLM）开发和应用的框架或工具集，特别针对优化和扩展这些模型的性能。通过点击 Models 选项可以选择...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值