论文笔记--LLaMA: Open and Efficient Foundation Language Models

已于 2023-06-13 08:19:14 修改
阅读量1.6k 收藏 2
点赞数 1
分类专栏： 论文阅读 文章标签： 论文阅读 llama 语言模型 gpt CommonCrawl
于 2023-06-06 21:32:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/131075998
版权
LLaMA是使用公开数据集训练的一系列大语言模型，其在多项NLP任务中超越GPT-3和PALM。模型训练采用byte级别的BPE分词、SwiGLU激活函数和RoPE位置编码。尽管在某些专业领域表现稍逊，但可通过指令微调提升性能。LLaMA提供不同规模的模型供不同需求的开发者使用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文笔记--LLaMA: Open and Efficient Foundation Language Models

1. 文章简介

  • 标题：LLaMA: Open and Efficient Foundation Language Models
  • 作者：Touvron, Hugo, et al.
  • 日期：2023
  • 期刊：arxiv preprint

2. 文章概括

  文章利用公开数据集训练并发布了一系列大语言模型LLaMA，在多个NLP下游任务中性能超过了GPT-3和PALM等模型。

3 文章重点技术

3.1 数据集

  • English CommonCrawl(67%): 训练集的大部分构成为2017～2020年间的CommonCrawl数据。文章对其进行了行级别的去重->训练fastText分类模型移除非英文页面->用n-gram模型过滤低质量的页面->训练分类模型识别出没有被wiki引用的页面并将其移除
  • C4(4.5%)：选择Github上Apache/BSD/MIT license的项目。通过行长度、字母数字的比例过滤掉其中低质量的文件->移除标题、正则表达式等说明->文档级别去重
  • Wikipedia(4.5%)：增加2022年7～8月的wiki数据（包含20种语言）。移除超链接、评论和其它板式。
  • Gutenberg和Book3(4.5%)：增加两个书籍语料库。在文档级别进行去重，即移除有90%以上内容重叠的文档。
  • ArXiv(2.5%)：增加arXiv的latex文档从而使数据集包含科学语料库。移除文档第一节之前的内容和出传记->移除tex文档的评论->移除镜像和定义
  • Stack Exchange(
最低0.47元/天 解锁文章
深度学习论文: LLaMA: Open and Efficient Foundation Language Models
mingo_敏
07-10 2105
本文介绍了LLaMA，这是一系列基础而先进的语言模型，其参数规模横跨7亿至65亿不等，展现了强大的语言处理能力。研究表明，通过大规模公开数据的训练，LLaMA系列模型成功打破了对专有或受限数据集的依赖，达到了业界最前沿（SOTA）的性能水平。本研究的核心目标是通过显著增加训练中的token数量，开发出在不同推理场景下均能展现出卓越性能的语言模型。LLaMA模型家族以其多样的参数配置，为语言模型领域带来了新的竞争力量。
[论文笔记]LLaMA: Open and Efficient Foundation Language Models
日积月累，天道酬勤
03-14 2268
⭐ 作者提出了LLaMMA系列模型，可以说天不生LLaMMA，开源大模型万古如黑夜。比较详细的介绍了模型实现细节，重要的是开源了实现代码。除了提供了在模型实现优化上的思路外，还给出了提高训练(推理)效率的方法。
LLaMA: Open and Efficient Foundation Language Models
qq_41200212的博客
11-06 861
本文介绍了LLaMA，是一个从7B到65B参数的基础语言模型集合。作者在数万亿计的token上训练该模型，证明了仅使用公开数据集也可以训练出SOTA级别的模型，而无需专有或未公开的数据集。最终实验结果显示，LLaMA-13B在大多数基准测试中要优于GPT-3(175B)，同时LLaMA-65B与最好的模型Chinchilla-70B、PaLM-540B相比具有竞争力。基于更多的参数会带来更好的性能这一假设，前人将模型越做越大。
LLaMA模型论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记
beingstrong的博客
07-29 2609
meta的LLaMA模型对应的论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记
llama/llama2论文解读
2301_77978404的博客
08-04 2175
对meta开源的llama和llama2的技术部分做了翻译和部分解读。
Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》阅读笔记
beingstrong的博客
09-08 3058
Llama 2 论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》详细阅读笔记记录
【模型结构】LLaMA: Open and Efficient Foundation Language Models
cjy_colorful0806的博客
07-29 807
这项工作的重点是训练一系列语言模型，通过训练比通常情况下更多的词块，在各种推理预算下实现最佳性能。由此产生的模型称为 LLaMA（7B-65B）。
LLaMA 论文精读
DeerEyre的博客
06-20 920
在大型文本语料库上训练的LLM模型已经显示出其可以从文本instructions和几个例子就可以执行新任务的能力。当将模型缩放到足够大的尺寸，这些few-shot特效首次出现。因此这些缩放操作，即更多的参数带来更好的性能很流行。但Hoffmann等人证明并非如此，最好的性能而是通过在更多数据上训练较小的模型实现。但其研究忽略了推理预算。导致其最好的模型并非是训练最快的，而是推理最快的。Hoffmann的理解是训练大型模型达到一定水平的性能会更便宜。（只考虑了训练阶段）
LLaMA-2论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
07-29 2050
LLaMA-2是2023年7月24日Meta发布的LLaMA第二代，跟LLaMA-1几个显著区别: * 免费可商用版本的大模型 * context上下文增加了一倍，从2K变为了4K * 训练的总token数从1.0T/1.4T增加为2.0T($2 \times 10^{12}$), 在1.4T基础上增加40% * 对于最大的模型参数量65B也增加到了70B
Llama 3.1：系列模型原理讲解论文(章节6-9)
首席AI分享圈
07-31 627
6 推论我们研究了两种主要技术来提高 Llama 3 405B 模型的推理效率：(1) 管道并行和 (2) FP8 量化。我们已公开发布了 FP8 量化的实现。下载全文PDF（7.4万字）：https://www.aisharenet.com/llama-3yigeduoa/ 6.1 管道并行 (Pipeline Parallelism)当使用 BF16 表示模型参数时，Llama 3 405B 模型无法装入单个配备 8 个 Nvidia H100 GPU 的机器的 GPU 内存。为了解决
LLAMA 3.1 论文的见解
ms44的专栏
08-18 2064
通过选择标准密集 Transformer 模型架构并进行细微调整，他们最大限度地提高了训练稳定性，优于更复杂的模型，例如混合专家模型。我们开发了高质量的 HTML 解析器，以确保抓取的代码和数学文本的质量。这种一丝不苟的方法有助于保持训练数据的高标准，这对于主要在网络数据上进行训练的模型来说至关重要。然而，Meta 的方法表明，只要有正确的相关性和转换，就可以有效地使用它来预测模型的成功。拒绝抽样涉及过滤掉低质量数据以提高数据集的整体质量，这是预训练和监督微调 (SFT) 期间的关键步骤。
论文精读--The Llama 3 Herd of Models
最新发布
m0_73202283的博客
11-24 1349
主要卖点：1.Dense架构，与其他模型的MOE架构不同2.先训练出文本的能力后，加一些图像、视频等能力，偏保守的方案，因为加其他模态以后训练难收敛。
一个开源的大型语言模型LLaMA论文简单解读，LLaMA: Open and Efficient Foundation Language Models
大模型天花板
04-11 3392
大型语言模型存在一个问题是并非越大的模型具备越优的性能，所以可能存在的情况是一个更小的模型使用更多的数据训练能得到更好的性能。作者发现一个7B的模型在1T的tokens上性能仍然在提升。因此，LLaMA的工作是使用更小的模型得到更优的性能。另外，在LLaMA中，训练数据全部来自网上公开的数据，作者在论文中介绍了模型及其训练细节。
LLaMA 大语言模型系列论文阅读
qq_43799400的博客
08-02 931
LLaMA 大语言模型系列论文阅读
大模型入门（八）—— Llama2论文简读
2301_81888214的博客
05-10 1631
大语言模型 (LLM) 作为功能强大的人工智能助手展现出了巨大的前景，它们擅长完成需要跨领域专业知识的复杂推理任务，包括编程和创意写作等专业领域。 它们通过简单直观的聊天界面与人类互动，让大预言模型快速地被推广。
Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读笔记...
zenRRan的博客
02-27 9251
来自：老刘说NLP进NLP群—>加入NLP交流群Meta最近提出了LLaMA(开放和高效的基础语言模型)模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞争性。Meta表示，该模型在数以万亿计的token上进行训练，并表明有可能完全使用公开的数据集来训...
论文笔记：Llama 2: Open Foundation and Fine-Tuned Chat Models
u011426236的博客
03-18 1763
Llama 2 是之前广受欢迎的开源大型语言模型 LLaMA 的新版本，该模型已公开发布，可用于研究和商业用途。本文记录了阅读该论文的一些关键笔记。
Llama 3.1：系列模型原理讲解论文(章节4-5)
首席AI分享圈
07-30 602
4 后续训练 我们通过应用多轮后续训练来生成与齐 Llama 3 模型。这些后续训练基于预训练的检查点，并结合人类反馈进行模型对齐（Ouyang 等人，2022；Rafailov 等人，2024）。每轮后续训练都包括监督微调 (SFT)，之后是直接偏好优化 (DPO; Rafailov 等人，2024)，使用通过人工标注或合成生成的示例进行。我们在第 4.1 节和第 4.2 节分别描述了我们的后续训练建模和数据方法。此外，我们将在第 4.3 节进一步详细介绍定制的数据整理策略，以提高模型的
最强开源大模型？Llama 2论文解读
草草君
07-26 2081
在介绍详细工作之前，Meta AI 团队首先将Llama 2 模型的能力进行其他开源模型和比原模型进行了对比，如图1所示。可以看出，在Meta AI 团队的测试中，在模型能力方面，Llama 2 模型的能力已经比肩ChatGPT；在模型的能力和安全性综合能力方面，Llama 2则要更胜一筹。论文中介绍到，经过Meta AI 对大模型的实用性和安全性的测试对比，此次发布的Llama 2是目前开源模型中效果最好的模型，并且可以免费商业。
LLaMA：开放且高效的大型语言模型推动技术创新
LLaMA: Open and Efficient Foundation Language Models是一篇关于大型语言模型（LLMs）的重要研究论文，作者们介绍了他们开发的一系列从7亿到650亿参数的模型，这些模型在训练过程中使用了海量的公开文本数据，旨在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值