论文笔记--Llama3 report

最新推荐文章于 2024-06-17 20:16:35 发布
最新推荐文章于 2024-06-17 20:16:35 发布
阅读量1.1k 收藏 10
点赞数 3
分类专栏： 论文阅读 文章标签： 论文阅读 语言模型 llama 自然语言处理 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/138067020
版权

论文笔记--Llama3 report

1. 文章简介

  • 标题：Llama3 Report
  • 作者：Meta
  • 日期：2024.04

2. 性能升级

  Llama3系列本次开源了8B和70B模型，在多个benchmarks上取得了SOTA表现。具体评估细节可以参见github
meta3-performance
  本次验证增加了高质量的人工评估集，涵盖12种场景（寻求建议、头脑风暴、分类、闭源QA、编码、创意写作、信息抽取、角色扮演、开放QA、推理、重写、摘要）共计1800个prompts。Llama3在这些prompts上表现超过GPT-3.5等模型：
winrates

3. 模型升级

3.1 模型架构升级

  相比于Llama2[1]，Llama3在模型架构上没有明显改变，仍采用transformer的decoder架构，模型架构升级如下

  • 词表大小由32K升级为128K
  • 采用GQA编码（Llama2也采用了GQA）
  • 上下文长度从4K增加为8k(8192)个tokens，并使用mask保证self-attention不跨文章
    model-arc

3.2 数据升级

  相比于Llama2，Llama3的数据也进行了升级，主要升级如下

  • 总tokens数从2T增加到15T
  • 包含更多的代码
  • 包含超过5%的非英文语料
      为了保障数据质量，Llama3构建了数据清洗pipelines，包含启发式规则，NSFW（不安全内容过滤）、语义去重。此外，Meta基于Llama2的高质量内容生成能力，通过Llama2生成数据来训练文本质量分类器。

3.3 指令微调

  Llama3采用了SFT、PPO、DPO组合的方式进行后训练（Post-training），Meta精心筛选了prompts的质量，从而大幅提高了模型表现。Meta发现模型有时候知道如何产生正确答案但不知道如何选择它，而通过PPO和DPO可提高模型的选择能力，从而提高在推理和编码任务上的表现。

4. 原文传送门

Meta Llama3 report
Meta Llama3 Model

6. References

[1] 论文笔记–Llama 2: Open Foundation and Fine-Tuned Chat Models

Isawany
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
llama3-8b tokenizer.model
06-11
llama3-8b tokenizer.model
llama-factory llama-factory llama-factory llama-factory llama-fa
06-13
llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory llama-factory
LLaMA 3：大模型之战的新序幕
人工智能学家
04-25 126
作者 | 符尧OneFlow编译翻译｜杨婷、宛子琳、张雪聃本文要点概览：文本数据的扩展可能已经达到了极限，因为易于获取的网络文本资源（如Common Crawl、GitHub、ArXiv等）已基本被充分利用。尽管如此，通过更深入地挖掘互联网资源、搜寻图书馆藏书及使用合成数据，我们仍有望获得新的文本数据，但要实现数据量级的大幅提升却面临重重挑战——这些新增的数据更可能是当前数量级上的增量。规模扩展竞...
[AI Meta Llama-3] 最强开源大模型Llama 3发布！
从零开始学AI的博客
04-19 1572
Meta Llama 3是迄今最具能力的开源大型语言模型的下一代。
每日论文推荐：LLaMA3的低比特量化效果详细总结
林夕
04-26 788
📌 元数据概览： 标题：这篇论文的标题是“How Good Are Low-bit Quantized LLAMA3 Models? An Empirical Study”，它可能探讨的是低比特权量化技术在LLAMA3模型上的应用效果和性能。 作者：论文的作者包括来自香港大学、北京航空航天大学、苏黎世联邦理工学院等机构的研究人员。他们的专业领域可能涉及计算机科学、机器学习和人工智能。 链接：论文的具体网址是 https://arxiv.org/pdf/2404.14047.pdf，这个链接指向了论文的
Llama3效果席卷大语言模型，香港大学发布量化Llama3实验性研究结果
math_bearrr的博客
04-23 1108
量化技术，尤其是针对大型语言模型（LLM）的低比特量化，已成为模型压缩领域的热点。从最基本的后训练量化（Post-Training Quantization, PTQ）到最新的低秩微调（LoRA-FineTuning, LoRA-FT）方法，量化技术的进步使得LLM在资源受限的设备上也能高效运行。PTQ主要通过简化权重和激活的精度来减小模型大小，常见的技术如四舍五入量化（RTN）和高级权重量化（AWQ）。而LoRA-FT则通过在低秩空间对模型进行微调，进一步提升了量化后的模型性能。
LLaMA模型论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记
beingstrong的博客
07-29 1940
meta的LLaMA模型对应的论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记
Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读笔记...
zenRRan的博客
02-27 8699
来自：老刘说NLP进NLP群—>加入NLP交流群Meta最近提出了LLaMA(开放和高效的基础语言模型)模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞争性。Meta表示，该模型在数以万亿计的token上进行训练，并表明有可能完全使用公开的数据集来训...
LLaVA-Med 论文阅读笔记
qq_58400270的博客
12-03 1361
本文提出了一种经济有效的方法训练一个可以回答生物医学图像开放研究问题的视觉-语言对话助手。
百川2-大模型-论文笔记
ding_zhikai的博客
11-21 697
baichuan2 开源大模型，论文阅读笔记
通过ORPO技术微调 llama3大模型(Fine-tune Llama 3 with ORPO)
2401_85327249的博客
06-06 849
ORPO是一种新颖的微调技术，它将传统的监督微调和偏好对齐阶段整合到一个过程中。这减少了训练所需的计算资源和时间。此外，经验结果表明，ORPO在各种模型大小和基准测试中都超过了其他对齐方法。 在本文中，我们将使用ORPO和TRL库来微调新的Llama 3 8B模型。
算法部署-使用TensorRT-LLM部署llama大模型-毕业设计-附详细性能优化+分析+实现流程教程-优质大模型部署项目实战
03-06
算法部署_使用TensorRT-LLM部署llama大模型_毕业设计_附详细性能优化+分析+实现流程教程_优质大模型部署项目实战
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA
08-21
中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX),
TWM论文阅读笔记
最新发布
read, note and comment papers
06-17 750
lzarzaht​ht​rt​γt​zt1​pf3l−1lht​rt​dt​γγγγγt​0γt​γγ0γot​ot​zt​ht​zt​。
论文阅读——ApeGNN- Node-Wise Adaptive Aggregation in GNNs for Recommendation
weixin_43954673的博客
06-17 714
近年来，图神经网络（GNN）在推荐方面取得了长足的进步。基于 GNN 的推荐系统的核心机制是迭代聚合用户-项目交互图上的邻近信息。然而，现有的 GNN 平等对待用户和项目，无法区分每个节点的不同局部模式，这使得它们在推荐场景中表现不佳。为了解决这一挑战，我们提出了一种节点式自适应图神经网络框架 ApeGNN。ApeGNN 开发了一种用于信息聚合的节点式自适应扩散机制，其中每个节点都能够根据局部结构（例如程度）自适应地决定其扩散权重。我们在六个广泛使用的推荐数据集上进行了实验。
【论文阅读】-- Omnisketch：高效的多维任意谓词高速流分析
zijin-jdd的博客
06-13 671
不同学科的一个关键需求是对快节奏的数据流执行分析，其性质类似于关系数据库中的传统 OLAP 分析，即使用过滤器和聚合。然而，由于存储要求高，以及存储海量数据时引入的延迟，存储无界流不是一种现实或理想的方法。因此，已经提出了许多概要/草图，它们可以在小内存（通常足够小以存储在RAM中）中总结流，这样就可以有效地近似聚合查询，而无需存储整个流。然而，过去的概要主要关注对单一属性流的总结，无法有效地处理对多个属性的任意子集进行过滤和约束。在这项工作中，我们提出了OmniSketch，这是第一个能够适应快节奏和复杂
Chinese-LLaMA-Plus
07-27
Chinese-LLaMA-Plus是一个中文语言模型，它是在中文LLaMA模型的基础上进行了扩充和改进。它使用了中文通用纯文本数据进行二次预训练，并且具有更大的模型大小。Chinese-LLaMA-Plus有多个版本，包括Chinese-LLaMA-Plus-7B和Chinese-LLaMA-Plus-13B，它们分别具有更大的训练数据和模型大小。这些模型可以用于各种自然语言处理任务，如文本生成、问答和对话交互。如果您对于ChatGPT对话交互有兴趣，建议使用Alpaca模型而不是LLaMA模型。 #### 引用[.reference_title] - *1* *3* [中文版LLaMA：Chinese-LLaMA-Alpaca](https://blog.csdn.net/u013250861/article/details/131160175)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [达到chatgpt 90%效果的llama，Chinese-Alpaca-Plus-13B合并使用全过程分享](https://blog.csdn.net/qq_39970492/article/details/131070115)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值