论文笔记--Llama3 report

最新推荐文章于 2025-04-01 15:15:43 发布
最新推荐文章于 2025-04-01 15:15:43 发布
阅读量3.3k 收藏 11
点赞数 4
分类专栏： 论文阅读 文章标签： 论文阅读 语言模型 llama 自然语言处理 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/138067020
版权

论文笔记--Llama3 report

1. 文章简介

  • 标题：Llama3 Report
  • 作者：Meta
  • 日期：2024.04

2. 性能升级

  Llama3系列本次开源了8B和70B模型，在多个benchmarks上取得了SOTA表现。具体评估细节可以参见github
meta3-performance
  本次验证增加了高质量的人工评估集，涵盖12种场景（寻求建议、头脑风暴、分类、闭源QA、编码、创意写作、信息抽取、角色扮演、开放QA、推理、重写、摘要）共计1800个prompts。Llama3在这些prompts上表现超过GPT-3.5等模型：
winrates

3. 模型升级

3.1 模型架构升级

  相比于Llama2[1]，Llama3在模型架构上没有明显改变，仍采用transformer的decoder架构，模型架构升级如下

  • 词表大小由32K升级为128K
  • 采用GQA编码（Llama2也采用了GQA）
  • 上下文长度从4K增加为8k(8192)个t
最低0.47元/天 解锁文章
[论文笔记] LLaMA3.2
心宝的博客
09-27 601
除了现有的支持文本的外，Llama 3.2 还支持多模式用例。现在，您可以在 Amazon Bedrock 中使用 Meta 中的四个新 Llama 3.2 模型（90B、11B、3B 和 1B）来构建、试验和扩展您的创意。——Meta 最先进的模型，非常适合企业级应用。该模型擅长常识、长文本生成、多语言翻译、编码、数学和高级推理。它还引入了图像推理功能，可以执行图像理解和视觉推理任务。该模型非常适合以下用例：图像字幕、图像文本检索、视觉基础、视觉问答和视觉推理以及文档视觉问答。
[论文笔记] Open-Sora 4、sora复现训练过程 (新repo)
心宝的博客
03-19 772
然而，它几乎没有透露任何有关其细节的信息。为了让AI更加“开放”，致力于打造Sora的开源版本。通过 VAE 下采样 4 倍和补丁大小下采样 2 倍，我们有 1440x1024≈1.5M 令牌。这与 Latte 论文中的变体 3 类似。然而，我们不控制这些变体的类似数量的参数。为了降低计算成本，我们希望利用现有的 VAE 模型。的 2x4x4 VAE 在我们的实验中质量较低。因此，出于效率考虑，我们选择STDiT（顺序）。的 4x4x4 VAE 不是开源的，而。没有开源的高质量时空VAE模型。
llama3论文阅读
bliblisukabulie的博客
09-12 839
稠密Transformer（Dense Transformer）是指传统的Transformer模型，其中所有的注意力头和前馈网络层都是稠密的，即每个输入位置都会参与到每个输出位置的计算中。MOE架构的一个著名变体是稀疏门控MOE（Sparse Gated Mixture of Experts），它在Google的Switch Transformer模型中得到了应用，该模型通过使用稀疏门控机制来减少计算资源的消耗，同时保持模型的性能。小小模型的验证误差预测大模型的验证误差，但并不代表大模型的能力。
一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理
热门推荐
结构之法 算法之道
07-24 2万+
llama3 刚出来时，其长度只有8K对于包括我司在内的大模型开发者是个小小的缺憾，好在很快，在7.23日，Meta发布了Llama 3.1，长度终于达到了128K这个长度使得可以直接通过我司的paper-review数据集去微调了如此，便有了本文：解读下llama3.1的paper，结果一看92页，好在昨天我司上线了基于大模型的翻译系统，​那先翻译一下 快速看下大概 然后慢慢抠。
论文笔记：Instruction-Tuning Llama-3-8B Excels in City-Scale MobilityPrediction
最新发布
qq_40206371的博客
04-01 417
将轨迹预测问题重构为一个带有指令的问答任务通过 GPT-3.5 和 4 进行实验，发现虽然该问答框架能在零样本情况下得到可接受结果，但仍存在准确性差、API 成本高、数据泄露风险等问题。——>使用 LoRA对 Llama-3-8B 进行了指令微调，仅微调注意力层和投影，提升效率。
Llama3.1论文解读
heyiqiunet的博客
10-21 1285
发布计划：Llama 3模型将在更新版本的Llama 3社区许可下公开发布，包括预训练和后训练版本的405B参数语言模型和新的Llama Guard模型。发布：Llama 3模型包括预训练和后训练版本，以及用于输入输出安全的Llama Guard 3模型。缩放律：通过实验确定最佳模型大小和训练token数量，最终决定训练405B参数的旗舰模型。视觉适配器训练：训练适配器将预训练的图像编码器集成到语言模型中，并训练视频适配器。多模态编码器预训练：训练图像和语音编码器，分别使用图像-文本对和自监督方法。
Llama3.1技术报告极简概况
weixin_54878690的博客
08-30 2004
Llama 3是一个具有405B参数的大模型, 在评估方面达到了GPT4的水平, 但在实用性等方面其实还并不能相比.Llama 3通过compositional这个方法添加了图片, 视频, 语音的能力.
Llama3.0论文学习笔记: The Llama 3 Herd of Models
Miracle8070
02-16 1525
今天分享Llama3.0的论文，2024.7月来自Meta的Llama团队，2025年1月DeepSeek R1出现之后，其风头显然已经盖住了Llama3，这时候整理Llama3感觉有点赶不上潮流了，但是我还是想整理下Llama3.0，原因是刚好春节的时候读了下原论文(起源是节后在公司做分享)，另外一个是Llama3的技术比较成熟，很多大模型的语言部分都是Llama的架构，因此想做为入门大模型的第一个实践模型。Llama3的技术报告也是长达94页，读完之后，还是有一种醍醐灌顶的感觉，里面还是写了非常多干货的
Llama 3.1：系列模型原理讲解论文(章节1-3)
首席AI分享圈
07-30 765
本文介绍了一系列新的基础模型，称为 Llama 3。Llama 3 是一个语言模型群体，天生支持多语言、代码编写、推理和工具使用。我们最大的模型是一个具有 4050 亿个参数和高达 128,000 个标记的上下文窗口的密集型 Transformer。本文对 Llama 3 进行了一系列广泛的经验评估。结果表明，Llama 3 在许多任务上都能够达到与 GPT-4 等领先语言模型相当的质量。
论文笔记：Retrieval-Augmented Generation forAI-Generated Content: A Survey
qq_40206371的博客
03-27 2358
北大202402的RAG综述。
CPsyCoun: A Report-based Multi-turn Dialogue Reconstruction and Evaluation Framework for Chinese Psy
weixin_51657614的博客
01-17 658
没有心理健康就没有健康”已不再只是一句口号，全球约 14% 的疾病负担归因于神经精神疾病（Prince 等人，2007 年）。尽管许多心理健康治疗价格实惠且有效，但有需要的人和能够获得治疗的人之间仍然存在巨大差距（Freeman，2022 年）。世界卫生组织 (WHO)不断倡导增加投资以增进理解并消除与精神疾病相关的耻辱感。然而，确保精神疾病的优质、负担得起的护理的挑战仍然十分艰巨。因此，确定新疗法和增强所有精神疾病的现有疗法是研究领域的关键目标。
Llama 3.1论文中文对照翻译
博观约取，厚积薄发
08-09 2818
现代人工智能（AI）系统由基础模型驱动。本文介绍了一组新的基础模型，称为 Llama 3。它是一群原生支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个密集型 Transformer，具有 405 B 405B 参数和高达 128 K 128K 个令牌的上下文窗口。本文对 Llama 3 进行了广泛的实证评估。我们发现 Llama 3 在众多任务上与 GPT-4 等领先语言模型相比质量相当。我们公开发布了 Llama 3，包括 405B 参数语言模型的预训练和后训练版本以及用于输入和输出安
论文精读--The Llama 3 Herd of Models
m0_73202283的博客
11-24 1347
主要卖点：1.Dense架构，与其他模型的MOE架构不同2.先训练出文本的能力后，加一些图像、视频等能力，偏保守的方案，因为加其他模态以后训练难收敛。
The Llama 3 Herd of Models.Llama 3 模型第1,2,3部分全文
qq_51570094的博客
07-25 2089
Llama 3 模型论文全文，了解Llama 3的训练细节和效果
《Llama 3大模型》技术报告中英文版，95页pdf
2401_82469710的博客
08-26 1086
现代人工智能（AI）系统由基础模型驱动。本文介绍了一套新的基础模型，称为Llama 3。它是一群本地支持多语言、编码、推理和工具使用的语言模型。我们最大的模型是一个具有4050亿参数和高达128K令牌上下文窗口的密集Transformer。
微调LLama 3——七月论文审稿GPT第5版：拿早期paper-7方面review数据集微调LLama 3
结构之法 算法之道
06-24 4993
用早期paper-4方面review微调llama2本节微调完之后，自然便可以与以下模型PK(针对哪个情况，则用那个情况的paper，所以评估llama3版本的情况3时，则都统一早期paper)
Llama 3.1：系列模型原理讲解论文(章节4-5)
首席AI分享圈
07-30 601
4 后续训练 我们通过应用多轮后续训练来生成与齐 Llama 3 模型。这些后续训练基于预训练的检查点，并结合人类反馈进行模型对齐（Ouyang 等人，2022；Rafailov 等人，2024）。每轮后续训练都包括监督微调 (SFT)，之后是直接偏好优化 (DPO; Rafailov 等人，2024)，使用通过人工标注或合成生成的示例进行。我们在第 4.1 节和第 4.2 节分别描述了我们的后续训练建模和数据方法。此外，我们将在第 4.3 节进一步详细介绍定制的数据整理策略，以提高模型的
Llama 3.1 介绍：论文要点,它拥有惊人的 4050 亿个参数和一个可扩展到 128,000 个 token 的上下文窗口
iCloudEnd的博客
07-24 216
现代人工智能 (AI) 系统由基础模型驱动，这些模型构成了当今许多 AI 应用程序的支柱。在我们的最新论文中，我们介绍了 Llama 3，这是一套新的基础模型，原生支持多语言、编码、推理和工具使用。这套模型的顶峰是一个密集的 Transformer 模型，它拥有惊人的 4050 亿个参数和一个可扩展到 128,000 个 token 的上下文窗口。这项广泛的实证评估将 Llama 3 定位为一个强大的竞争者，在众多任务中提供与 GPT-4 等领先语言模型相当的性能。
【LLM】Llama 3 论文精读
2665000101@qq.com
02-18 948
Llama 3 在模型架构上的改进主要集中在。
服务器利用llama-factory微调llama3
01-09
### 使用 LLaMA-Factory 对 LLaMA3 模型进行微调 #### 准备工作环境 为了确保顺利运行，需先准备服务器上的开发环境。这包括但不限于更新 `pip` 到最新版本以便更好地管理Python包。 ```bash python -m pip install --upgrade pip ``` #### 下载并配置 LLaMA-Factory 获取 LLaMA-Factory 的源码对于后续操作至关重要。通过GitHub仓库地址下载项目文件，并按照官方说明完成必要的设置[^3]。 ```bash git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory ``` #### 安装依赖项 安装所需的Python库和其他资源是必不可少的一环。通常情况下，这些需求会被记录在一个名为 `requirements.txt` 文件里；执行下面这条指令即可自动处理好所有的依赖关系： ```bash pip install -r requirements.txt ``` #### 数据预处理 针对特定任务调整模型之前，准备好训练数据集非常重要。根据具体应用场景的不同，可能涉及到文本清洗、分词等一系列准备工作。这部分的具体实现会依据所使用的数据集而变化，在此不做详述。 #### 开始微调过程 一旦前期准备工作就绪，则可以通过指定参数启动实际的微调流程。具体的命令行选项取决于个人的需求以及硬件条件等因素。例如，如果希望利用GPU加速计算速度的话，可以在命令中加入相应的标志位。 ```bash python finetune.py \ --model_name_or_path path_to_model \ --train_file path_to_train_data.jsonl \ --output_dir output_directory \ --per_device_train_batch_size 8 \ --learning_rate 5e-5 \ --num_train_epochs 3\ --save_steps 10_000 \ --logging_steps 1_000 \ --do_train ``` 上述命令中的各个参数可以根据实际情况灵活调整，比如批量大小(`batch size`)、学习率(`learning rate`)等超参的选择应该基于实验结果不断优化[^1]。 #### 可视化调试 借助于 Gradio 提供的强大功能，能够轻松搭建起直观易用的操作界面，使得开发者能够在浏览器端实时查看模型的表现情况。只需简单输入一条命令就能开启这个便捷的功能[^2]: ```bash llamafactory-cli webui ``` 这样不仅有助于监控整个训练进程的状态，同时也便于后期对生成的内容质量做出评估。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值