Meta：Llama3技术揭秘，千亿规模LLM再添虎将

于 2024-08-22 15:00:00 发布
阅读量1.1k 收藏 12
点赞数 19
分类专栏： 大模型-成熟基座 文章标签： 人工智能 自然语言处理 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46739757/article/details/141415196
版权

在这里插入图片描述

📖标题：The Llama 3 Herd of Models
🌐来源：arXiv, 2407.21783

🛎️文章简介

  • 论文是Llama 3系列的技术报告，介绍了模型在不同领域的应用和评估结果，包括文档分析、语音生成、安全编码等，还分析了训练过程、数据收集和模型优化等细节。
  • 该模型具有丰富的功能，可以回答多语言的问题、编写高质量的代码、解决复杂的推理问题，并可以直接使用各种工具或以零样本方式进行操作。

📝重点思路

🔺预训练

概述

性能提升主要是由数据质量和多样性的改进以及训练规模的扩大推动的

训练语料

  • 从网络获取，通过去重和过滤进行清洗
  • 通过知识分类和缩放定律，控制不同数据源的配比
  • 在少量高质量代码和数学数据上进行退火训练，不包含任何基准数据以确保评测的客观性

模型架构

与Llama 2相似，小的变动主要是：

  • 使用8个键值头的GQA
  • 用注意力掩模来防止同一序列中不同文档之间的自注意力，在标准预训练中影响有限，但发现它对于很长序列的持续预训练很重要
  • 提高分词压缩率 ④提高RoPE基频

硬件设施

迁移到Meta生产集群（16K H100），优化了计算、存储和网络。

训练配方

初始预训练、长上下文预训练和退火预训练三阶段

🔺后训练

训练流程

  • 使用人工标注的偏好数据在预训练上训练奖励模型
  • 对预训练监督微调(SFT)，使用奖励模型执行拒绝采样
  • 使用直接偏好优化（DPO）进一步训练，屏蔽掉DPO丢失中的格式标记和NLL损失正则化
  • 对每个RM、SFT或DPO阶段使用各种版本的数据或超参数的实验获得的模型进行平均
  • 将上述方法应用六轮，每轮都会收集新的偏好注释和 SFT数据，从最新模型中采样合成数据

训练数据

  • 偏好数据设置为四个排序级别
  • SFT数据包括人工注释、特定功能和少量人工整理，覆盖英语、代码、多语言、考试、工具推理和长文本
  • 数据清洗过后，围绕主题、质量、难度和语义进行数据修剪

能力

  • 依次介绍了代码、多语言、数学推理、长上下文、工具使用、真实性和可控性的能力调优细节

🔎模型评估

预训练

标准基准覆盖常识推理、知识、阅读理解、数学推理、长上下文、代码、对抗性评价和综合评价，额外引入稳健性和数据污染。

后训练

除了标准基准之外，还对不同的能力进行了广泛的人类评估。

安全

在全流程上均涉及到安全策略，并引入红队识别。

附录

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

大模型任我行
关注
专栏目录
大模型实战—Llama3-8B 中文微调
04-25 7万+
Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
Meta大佬亲授LLaMA 3的奥秘
herosunly的博客
04-29 10万+
本文主要介绍了Meta大佬亲授LLaMA 3的奥秘，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. Llama 系列模型回顾 3. Llama 3 模型的奥秘 4. Llama 3 的安全性 5. 其他亮点 6. 未来计划
每日论文推荐：LLaMA3的低比特量化效果详细总结
林夕
04-26 1100
📌 元数据概览： 标题：这篇论文的标题是“How Good Are Low-bit Quantized LLAMA3 Models? An Empirical Study”，它可能探讨的是低比特权量化技术在LLAMA3模型上的应用效果和性能。 作者：论文的作者包括来自香港大学、北京航空航天大学、苏黎世联邦理工学院等机构的研究人员。他们的专业领域可能涉及计算机科学、机器学习和人工智能。 链接：论文的具体网址是 https://arxiv.org/pdf/2404.14047.pdf，这个链接指向了论文的
论文笔记--Llama3 report
weixin_38124427的博客
04-22 2837
Meta最新开源模型Llama3-8B, Llama3-70B
Llama3效果席卷大语言模型，香港大学发布量化Llama3实验性研究结果
math_bearrr的博客
04-23 1307
量化技术，尤其是针对大型语言模型（LLM）的低比特量化，已成为模型压缩领域的热点。从最基本的后训练量化（Post-Training Quantization, PTQ）到最新的低秩微调（LoRA-FineTuning, LoRA-FT）方法，量化技术的进步使得LLM在资源受限的设备上也能高效运行。PTQ主要通过简化权重和激活的精度来减小模型大小，常见的技术如四舍五入量化（RTN）和高级权重量化（AWQ）。而LoRA-FT则通过在低秩空间对模型进行微调，进一步提升了量化后的模型性能。
一文速览Llama 3：从Llama 3的模型架构到如何把长度扩展到100万——基于NTK-aware插值
结构之法 算法之道
04-19 1万+
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理
结构之法 算法之道
07-24 1万+
llama3 刚出来时，其长度只有8K对于包括我司在内的大模型开发者是个小小的缺憾，好在很快，在7.23日，Meta发布了Llama 3.1，长度终于达到了128K这个长度使得可以直接通过我司的paper-review数据集去微调了如此，便有了本文：解读下llama3.1的paper，结果一看92页，好在昨天我司上线了基于大模型的翻译系统，​那先翻译一下 快速看下大概 然后慢慢抠。
Llama3本地部署的解决方案
热门推荐
herosunly的博客
04-23 11万+
本文主要介绍了Llama3本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行代码 3.1 修改文件 3.2 运行API 3.3 运行聊天界面 3.4 Python调用API 3.4.1 单轮对话 3.4.2 多轮对话
LLM-20230225：LLaMA（大羊驼）【参数量： 70 亿、130 亿、330 亿、650 亿】【旨在推动 LLM 领域的小型化、平民化研究】【Meta】
u013250861的博客
03-09 1798
北京时间 2023 年 2 月 25 日 Meta AI 在其官网公开发布了 LLaMA（Large Language Model Meta AI）大型语言模型，包括 70 亿、130 亿、330 亿、650 亿 4 种参数规模，旨在推动 LLM 领域的小型化、平民化研究。
多图详解LLaMA 3的使用方法和进化之路
herosunly的博客
04-21 8万+
LLaMA 3是Meta AI在2024年4月18日发布的最新开源模型家族。其中已发布的是8B和70B的base和instruct版本。未来将会发布400B参数量、多语言、多模态、长上下文等不同的大模型。那么如何使用LLaMA 3呢？简单来说，可分为两种方式：在线使用和本地部署。
The Llama 3 Herd of Models.Llama 3 模型第1,2,3部分全文
qq_51570094的博客
07-25 1670
Llama 3 模型论文全文，了解Llama 3的训练细节和效果
LLaMA模型论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记
beingstrong的博客
07-29 2177
meta的LLaMA模型对应的论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记
微调LLama 3——七月论文审稿GPT第5版：拿早期paper-7方面review数据集微调LLama 3
结构之法 算法之道
06-24 3734
用早期paper-4方面review微调llama2本节微调完之后，自然便可以与以下模型PK(针对哪个情况，则用那个情况的paper，所以评估llama3版本的情况3时，则都统一早期paper)
Llama 3.1：系列模型原理讲解论文(章节4-5)
首席AI分享圈
07-30 512
4 后续训练 我们通过应用多轮后续训练来生成与齐 Llama 3 模型。这些后续训练基于预训练的检查点，并结合人类反馈进行模型对齐（Ouyang 等人，2022；Rafailov 等人，2024）。每轮后续训练都包括监督微调 (SFT)，之后是直接偏好优化 (DPO; Rafailov 等人，2024)，使用通过人工标注或合成生成的示例进行。我们在第 4.1 节和第 4.2 节分别描述了我们的后续训练建模和数据方法。此外，我们将在第 4.3 节进一步详细介绍定制的数据整理策略，以提高模型的
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-20 3万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
[AI Meta Llama-3] 最强开源大模型Llama 3发布！
从零开始学AI的博客
04-19 1764
Meta Llama 3是迄今最具能力的开源大型语言模型的下一代。
[Sigcomm论文解析] Llama 3训练RoCE网络
qingkahui24689的博客
08-06 1251
最近正在开的Sigcomm上, Meta有一篇论文《RDMA over Ethernet for Distributed AI Training at Meta Scale》[1]详细介绍了它的物理网络部署和相关的拥塞控制机制. 本文来对它进行一些详细的解读.
Llama 3.1 介绍：论文要点,它拥有惊人的 4050 亿个参数和一个可扩展到 128,000 个 token 的上下文窗口
iCloudEnd的博客
07-24 135
现代人工智能 (AI) 系统由基础模型驱动，这些模型构成了当今许多 AI 应用程序的支柱。在我们的最新论文中，我们介绍了 Llama 3，这是一套新的基础模型，原生支持多语言、编码、推理和工具使用。这套模型的顶峰是一个密集的 Transformer 模型，它拥有惊人的 4050 亿个参数和一个可扩展到 128,000 个 token 的上下文窗口。这项广泛的实证评估将 Llama 3 定位为一个强大的竞争者，在众多任务中提供与 GPT-4 等领先语言模型相当的性能。
在python中如何使用meta-llama3-8b-instruct
最新发布
09-10
Meta-Llama是一种Python库，而"3.8b"通常表示版本号，可能是某个预发布版或beta版本。Meta-Llama3.8b-instruct具体指的是Meta-Llama的某个特定版本3.8b的使用说明或指令集。 在Python中使用Meta-Llama这样的库，你需要按照以下步骤操作： 1. **安装**：首先，你需要通过pip（Python包管理器）来安装Meta-Llama。如果它还没有发布到PyPI（Python Package Index），你可能需要从GitHub或其他源码仓库下载并安装。 ```bash pip install meta-llama ``` 2. **导入**：然后，在你的Python脚本或交互式环境中，你可以导入Meta-Llama库，像这样： ```python from meta_llama import SomeClassOrFunction # 如果文档有明确指出应该导入哪个部分 ``` 3. **查阅文档**：对于 Meta-Llama 3.8b 版本的具体使用指导，你应该查看官方文档、GitHub仓库的README文件，或者在其issue tracker和wiki中查找相应版本的教程或API指南。 4. **使用**：根据文档提供的示例和功能，编写代码来利用Meta-Llama的功能，比如处理元数据、构建模型等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型任我行

随意啦，喜欢就好~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值