使用 torchtune 微调 Llama3

已于 2024-08-23 17:43:12 修改
阅读量1.7k 收藏 18
点赞数 41
分类专栏： LLM & AIGC 文章标签： torchtune Llama3 微调 量化 评估 训练
于 2024-04-24 11:03:24 首次发布
原文链接：https://pytorch.org/torchtune/stable/tutorials/llama3.html
版权

Llama3 + torchtune

文章目录

本文翻译改编自：https://pytorch.org/torchtune/stable/tutorials/llama3.html

1、Llama3-8B

Llama3-8B 是 Meta AI 发布的新模型，它在一系列不同基准测试中改进了 Llama2 系列模型的性能。 Llama2-7B 和 Llama3-8B 型号之间有一些主要变化：

  • Llama3-8B 使用分组查询注意力，而不是 Llama2-7B 的标准多头注意力
  • Llama3-8B 具有更大的词汇量（128,256，而不是 Llama2 模型的 32,000）
  • Llama3-8B 使用与 Llama2 模型不同的分词器（tiktoken而不是sentencepiece）
  • Llama3-8B 在其 MLP 层中使用比 Llama2-7B 更大的中间维度
  • Llama3-8B 使用更高的基值来计算其 rotary positional embeddings 中的 theta。

2、访问 Llama3-8B

首先，我们从 Hugging Face 下载模型。您需要按照官方元页面上的说明进行操作才能访问该模型。接下来，请确保从这里获取您的 Hugging Face 令牌。

tune download meta-llama/Meta-Llama-3-8B \
    --output-dir <checkpoint_dir> \
    --hf-token <ACCESS TOKEN>

3、在 torchtune 中微调 Llama3-8B

torchtune 提供LoRA、QLoRA和完整的微调recipe，用于在一个或多个 GPU 上微调 Llama3-8B。

有关 torchtune 中 LoRA 的更多信息，请参阅我们的LoRA 教程。有关 torchtune 中 QLoRA 的更多信息，请参阅我们的QLoRA 教程。

让我们看看如何使用 torchtune 在单个设备上对 Llama3-8B 和 LoRA 进行微调。

在此示例中，出于说明目的，我们将在通用指令数据集上微调一个时期。单设备 LoRA 微调的基本命令是

tune run lora_finetune_single_device --config llama3/8B_lora_single_device

注：要查看recipe 及其相应配置的完整列表，只需运行 tune ls 命令即可。

我们还可以根据需要 添加命令行覆盖，例如

tune run lora_finetune_single_device --config llama3/8B_lora_single_device \
    checkpointer.checkpoint_dir=<checkpoint_dir> \
    tokenizer.path=<checkpoint_dir>/tokenizer.model \
    checkpointer.output_dir=<checkpoint_dir>

这将从上面 tune download 命令中使用的 <checkpoint_dir> 加载 Llama3-8B 检查点和标记器，然后按照原始格式 将最终检查点保存在同一目录中。

有关 torchtune 支持的检查点格式的更多详细信息，请参阅我们的检查点深入研究。

注：要查看此（和其他）配置的完整可配置参数集，我们可以使用 tune cp 来复制（和修改）默认配置。

tune cp 也可以与recipe脚本一起使用，以防您想要进行更多无法通过直接修改现有可配置参数来实现的自定义更改。

有关更多 tune cp 的信息，请参阅修改配置部分 。

训练完成后，模型检查点将被保存并记录其位置。对于 LoRA 微调，最终检查点将包含合并的权重，并且将单独保存（小得多的）LoRA 权重的副本。

在我们的实验中，我们观察到内存使用峰值为 18.5 GB。默认配置可以在具有 24 GB VRAM 的消费级 GPU 上进行训练。

如果您有多个可用的 GPU，则可以运行recipe的分布式版本。
torchtune 利用PyTorch Distributed 的 FSDP API 对模型、优化器状态和梯度进行分片。
这将使您能够增加批量大小，从而加快整体训练速度。
例如，在两台设备上：

tune run --nproc_per_node 2 lora_finetune_distributed --config llama3/8B_lora

最后，如果我们想使用更少的内存，我们可以通过以下方式利用 TorchTune 的 QLoRA recipe：

tune run lora_finetune_single_device --config llama3/8B_qlora_single_device

由于我们的默认配置启用完整的 bfloat16 训练，因此上述所有命令都可以在具有至少 24 GB VRAM 的设备上运行，事实上，QLoRA recipe的峰值分配内存应低于 10 GB。
您还可以尝试 LoRA 和 QLoRA 的不同配置，甚至进行全面微调。试试看！

4、使用 EleutherAI 的 Eval Harness 评估 微调的 Llama3-8B 模型

现在我们已经对 Llama3-8B 进行了微调，下一步是什么？
让我们采用上一节中的 LoRA 微调模型，看看我们可以评估其在我们关心的任务上的性能的几种不同方法。

首先，torchtune 与 EleutherAI’s evaluation harness 集成 ，用于常见基准任务的模型评估。

注：确保您首先通过安装了评估工具：pip install "lm_eval==0.4.*"

在本教程中，我们将使用harness 中的任务 truthfulqa_mc2 。
此任务衡量模型在回答问题时的真实倾向，并衡量模型在一个或多个真实响应和一个或多个错误响应后的问题上的零样本准确性。
首先，让我们复制配置，以便将 YAML 文件指向我们微调的检查点文件。

tune cp eleuther_evaluation ./custom_eval_config.yaml

接下来，我们进行修改 custom_eval_config.yaml 以包含微调的 checkpoints。

model:
  _component_: torchtune.models.llama3.llama3_8b

checkpointer:
  _component_: torchtune.utils.FullModelMetaCheckpointer

  # directory with the checkpoint files
  # this should match the output_dir specified during
  # fine-tuning
  checkpoint_dir: <checkpoint_dir>

  # checkpoint files for the fine-tuned model. These will be logged
  # at the end of your fine-tune
  checkpoint_files: [
    consolidated.00.pth
  ]

  output_dir: <checkpoint_dir>
  model_type: LLAMA3

# Make sure to update the tokenizer path to the right
# checkpoint directory as well
tokenizer:
  _component_: torchtune.models.llama3.llama3_tokenizer
  path: <checkpoint_dir>/tokenizer.model

最后，我们可以使用修改后的配置来运行评估。

tune run eleuther_eval --config ./custom_eval_config.yaml

亲自尝试一下，看看您的模型的准确性如何！

5、使用微调后的 Llama3-8B 模型 生成文本

接下来，让我们看看评估模型的另一种方法：生成文本！
torchtune 也提供了生成的方法。

与我们所做的类似，让我们复制并修改默认的生成配置。

tune cp generation ./custom_generation_config.yaml

现在我们修改custom_generation_config.yaml为指向我们的检查点和标记器。

model:
  _component_: torchtune.models.llama3.llama3_8b

checkpointer:
  _component_: torchtune.utils.FullModelMetaCheckpointer

  # directory with the checkpoint files
  # this should match the output_dir specified during
  # fine-tuning
  checkpoint_dir: <checkpoint_dir>

  # checkpoint files for the fine-tuned model. These will be logged
  # at the end of your fine-tune
  checkpoint_files: [
    consolidated.00.pth
  ]

  output_dir: <checkpoint_dir>
  model_type: LLAMA3

# Make sure to update the tokenizer path to the right
# checkpoint directory as well
tokenizer:
  _component_: torchtune.models.llama3.llama3_tokenizer
  path: <checkpoint_dir>/tokenizer.model

使用经过 LoRA 微调的模型 运行生成，我们会看到以下输出：

tune run generate --config ./custom_generation_config.yaml \
prompt="Hello, my name is"

[generate.py:122] Hello, my name is Sarah and I am a busy working mum of two young children, living in the North East of England.
...
[generate.py:135] Time for inference: 10.88 sec total, 18.94 tokens/sec
[generate.py:138] Bandwidth achieved: 346.09 GB/s
[generate.py:139] Memory used: 18.31 GB

6、通过量化更快地生成

我们可以看到该模型只用了不到 11 秒，每秒生成近 19 个令牌。
我们可以通过量化我们的模型来加快速度。
在这里，我们将使用 torchao提供的 4 位仅权重量化。

如果您已经了解了到目前为止，那么您现在已经知道了该怎么做。
让我们复制量化配置并将其指向我们微调的模型。

tune cp quantization ./custom_quantization_config.yaml

并更新custom_quantization_config.yaml以下内容：

# Model arguments
model:
  _component_: torchtune.models.llama3.llama3_8b

checkpointer:
  _component_: torchtune.utils.FullModelMetaCheckpointer

  # directory with the checkpoint files
  # this should match the output_dir specified during
  # fine-tuning
  checkpoint_dir: <checkpoint_dir>

  # checkpoint files for the fine-tuned model. These will be logged
  # at the end of your fine-tune
  checkpoint_files: [
    consolidated.00.pth
  ]

  output_dir: <checkpoint_dir>
  model_type: LLAMA3

为了量化模型，我们现在可以运行：

tune run quantize --config ./custom_quantization_config.yaml

[quantize.py:90] Time for quantization: 2.93 sec
[quantize.py:91] Memory used: 23.13 GB
[quantize.py:104] Model checkpoint of size 4.92 GB saved to /tmp/Llama-3-8B-hf/consolidated-4w.pt

我们可以看到该模型现在低于 5 GB，或者每个 8B 参数仅超过 4 位。

注：与微调检查点不同，量化recipe输出单个检查点文件。
这是因为我们的量化 API 目前不支持任何跨格式的转换。
因此，您将无法在 torchtune 之外使用这些量化模型。
但是您应该能够将它们与 torchtune 中的生成和评估recipe一起使用。
这些结果将有助于告知您应该在您最喜欢的推理引擎中使用哪种量化方法。

让我们采用量化模型并再次运行同一代。首先，我们将改变 custom_generation_config.yaml。

checkpointer:
  # we need to use the custom TorchTune checkpointer
  # instead of the HF checkpointer for loading
  # quantized models
  _component_: torchtune.utils.FullModelTorchTuneCheckpointer

  # directory with the checkpoint files
  # this should match the output_dir specified during
  # fine-tuning
  checkpoint_dir: <checkpoint_dir>

  # checkpoint files point to the quantized model
  checkpoint_files: [
    consolidated-4w.pt,
  ]

  output_dir: <checkpoint_dir>
  model_type: LLAMA3

# we also need to update the quantizer to what was used during
# quantization
quantizer:
  _component_: torchtune.utils.quantization.Int4WeightOnlyQuantizer
  groupsize: 256

让我们重新运行吧！

tune run generate --config ./custom_generation_config.yaml \
prompt="Hello, my name is"

[generate.py:122] Hello, my name is Jake.
I am a multi-disciplined artist with a passion for creating, drawing and painting.
...
Time for inference: 1.62 sec total, 57.95 tokens/sec

通过量化模型并运行，torch.compile我们获得了超过 3 倍的加速！

这只是您可以使用 torchtune 和更广泛的生态系统对 Llama3-8B 进行的操作的开始。我们期待看到您构建的内容！

2024-04-23（二）

LLM - 使用 LLaMA-Factory 微调 Qwen2-VL DPO(LoRA) 图像数据集 教程 (3)
AGI
11-26 2559
DPO(Direct Preference Optimization, 直接偏好优化) 是在 RLHF 阶段中使用的优化算法，通过直接利用人类的偏好数据来优化策略模型，无需定义明确的奖励函数或进行复杂的强化学习过程。DPO的优化目标是，增加偏好样本的对数概率与减小非偏好样本响应的对数概率，结合动态加权机制，以避免仅使用概率比目标时遇到的模型退化问题。
Llama3-8B+ LLaMA-Factory 中文微调
2401_84052244的博客
04-23 9539
Llama3是目前开源大模型中最优秀的模型之一，但是原生的Llama3模型训练的中文语料占比非常低，因此在中文的表现方便略微欠佳！本教程就以Llama3-8B-Instruct开源模型为模型基座，通过开源程序LLaMA-Factory来进行中文的微调，提高Llama3的中文能力！
大模型微调工具-torchtune
weixin_40777649的博客
08-08 1516
1.定义2.安装3. 案例。
torchtune
AI工程化、开源分享、文档翻译、代码笔记
04-24 1759
一、关于 torchtune 什么是 torchtune? 关键概念 Configs、Recipes 设计准则 二、安装 三、微调模型 1、下载模型 2、选择recipe 3、修改配置 4、训练模型
基于PyTorch的大语言模型微调指南：Torchtune完整教程与代码示例
2401_85773741的博客
03-18 854
本文介绍了如何使用PyTorch的Torchtune库进行大型语言模型(LLM)的微调。Torchtune提供了一套简单、灵活、高效的工具和框架,使得研究人员和开发者能够轻松地对LLM进行调试、训练和部署。文章详细介绍了Torchtune的设计原则、核心概念和主要特性,并通过一个完整的实例演示了如何使用Torchtune微调LLaMA-2-7B模型。此外,文章还介绍了两种参数高效的微调方法:LoRA和QLoRA。
大力推荐：torchtune —— 深度学习模型优化的得力助手
gitblog_00117的博客
08-24 627
大力推荐：torchtune —— 深度学习模型优化的得力助手 torchtuneA Native-PyTorch Library for LLM Fine-tuning项目地址:https://gitcode.com/gh_mirrors/to/torchtune 在快速演进的人工智能领域，模型的训练和调优一直是研究与应用中的关键环节。现在，PyTorch社区为我们带来了一款强大的工具——to...
LLM微调工具TorchTune易用性高于一切
gcs8cn的专栏
07-30 497
是一个针对 PyTorch 的工具，它帮助简化和标准化了大型语言模型的微调过程。它不仅涵盖了从数据准备到模型训练的所有步骤，而且还确保了所开发的模型能够顺利地部署到实际的应用场景中，与现有的生产级推理系统无缝对接。为 PyTorch 社区带来了更高效的 LLM 训练工具，无论对于初学者还是经验丰富的开发者都非常有用。对资源效率的关注对于资源有限的研究人员来说非常重要。高标准的正确性和稳定性确保了研究结果的可靠性和一致性。这是一个专为 PyTorch 设计的库，旨在为大型语言模型（LLMs）的微调提供支持。
微调llama 3 — PEFT微调和全量微调
python122_的博客
05-29 1201
官方blogllama 3 目前有两个版本：8B版和70B版。8B版本拥有8.03B参数，其尺寸较小，可以在消费者硬件上本地运行。超过400B个参数的第三个版本目前仍在训练中……Llama 3与Llama 2具有相同的架构，但词汇表要大得多，包含128k entries，而Llama 2只有32kentries，根据Meta的说法，词汇表的扩展显著提高了模型表现。Llama 3的预训练数据包含5%的高质量非英语数据。注意：Meta在modelcard中仍然提到Llama 3更适合用于英语任务。
采用LoRA方法微调llama3大语言模型
JACK_GEN123的博客
05-22 3078
先介绍一下如何与本地llama3模型交互，再介绍如何使用torchtune和LoRA方式微调llama3，最后介绍一下如何用torchtune与llama3模型交互。目前llama3开源的模型有Meta-Llama-3-8B、Meta-Llama-3-8B-Instruct、Meta-Llama-3-70B和Meta-Llama-3-70B-Instruct。
一文速览Llama 3及其微调：从如何把长度扩展到100万到如何微调Llama3 8B_llama3 微调 mysql 数据_llama3 代码很短
2401_85773359的博客
06-27 1083
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，基于Meta官方博客的介绍：Introducing Meta Llama 3: The most capable openly available LLM to date，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
大模型实战—Llama3-8B 中文微调
m0_59235699的博客
05-25 6255
2.1.什么是 Llama3?Lllma3 是 META 公司发布的开源语言大模型，与 chatGPT 类似，它可以完成一系列诸如对话，翻译，上下文理解等等复杂任务，你可以把它理解为一个免费，可以部署在你的电脑无须联网就可以使用的 AI 助手。2.2.什么是 Ollama？Ollama 是一个支持在本地运行大语言模型的工具，兼容 Windows 和 MacOS 操作系统。使用 Ollama，您仅需一行命令即可下载并启动模型。
Llama 3 开源！手把手带你进行大模型推理，部署，微调和评估
2301_78285120的博客
04-20 6963
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。近日，Meta发布了 Meta Llama 3系列，是 LLama 系列开源大型语言模型的下一代。在接下来的几个月，Meta预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能，并会分享 Llama 3 研究论文。
探索与优化：PyTorch的torchtune库
gitblog_00073的博客
05-08 437
探索与优化：PyTorch的torchtune库 torchtuneA Native-PyTorch Library for LLM Fine-tuning项目地址:https://gitcode.com/gh_mirrors/to/torchtune torchtune是一个专注于PyTorch的库，旨在简化和优化大规模语言模型（LLMs）的训练过程。它的设计目标是易用性，并且与现有的生态系统...
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 5483
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
Llama3.1 部署（lmdeploy）与微调（xtuner）
mycomin的博客
07-24 781
【代码】Llama3.1 部署（lmdeploy）与微调（xtuner）
TorchTune 开源项目教程
gitblog_00865的博客
08-22 767
TorchTune 开源项目教程 torchtuneA Native-PyTorch Library for LLM Fine-tuning项目地址:https://gitcode.com/gh_mirrors/to/torchtune 项目介绍 TorchTune 是一个基于 PyTorch 的自动化超参数优化库，旨在通过高效的搜索算法帮助用户找到最佳的模型超参数配置。该项目由 PyTorch...
Llama3-8B大模型LoRA微调原理分析
qq1071643762的博客
10-30 1104
大模型的参数量很大，如果我们基于大模型进行全量的训练，那就需要很多的GPU资源，所以需要微调，而基于Lora的微调则更轻量
大模型微调实例以及代码
最新发布
04-09
<think>好的，用户现在需要关于大模型微调的实例和代码示例。首先，我需要回忆一下之前用户提供的引用内容。根据引用[1]，提到了Torchtune的教程和代码示例，以及第七阶段涉及使用星火大模型和文心大模型构建行业应用。用户可能希望得到具体的步骤和代码，而不仅仅是理论。 接下来，我需要确定用户的具体需求。他们可能对如何实际操作微调大模型感兴趣，特别是使用像PyTorch这样的框架。用户提到的示例代码可能包括数据准备、模型配置、训练循环等部分。同时，用户可能希望了解不同的微调方法，比如LoRA，因为这在微调大型模型时可以减少计算资源的需求。 然后，我应该考虑用户可能的背景。他们可能是开发者或研究人员，有一定机器学习基础，但需要具体的指导来实施微调。因此，回答需要结构清晰，分步骤解释，并提供代码示例。同时，需要确保代码的正确性和适用性，比如使用流行的库如Hugging Face Transformers和PyTorch。 还要注意引用用户提供的资料，特别是在引用Torchtune的部分，以增强可信度。此外，用户可能对优化方法（如LoRA）和应用场景感兴趣，所以在相关问题上可以进一步扩展。 最后，确保回答符合格式要求，使用中文，行内公式用$...$，独立公式用$$...$$，正确使用LaTeX语法，并在适当的位置添加引用标识。同时，生成的相关问题要贴近用户可能的后续疑问，帮助他们进一步学习。</think># 大模型微调实例与代码解析 ## 一、微调核心步骤说明 大模型微调主要包含以下技术环节： 1. **数据准备**：需构建与目标领域匹配的标注数据集，推荐格式为JSON或CSV 2. **模型加载**：使用`transformers`库加载预训练模型与分词器 3. **参数配置**：设置学习率（推荐$lr=1e-5$到$1e-3$）、训练轮次（通常2-5个epoch） 4. **训练优化**：采用LoRA等参数高效微调方法，显存消耗可降低70%[^1] ## 二、PyTorch代码示例 ```python from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 加载预训练模型 model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf") tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf") # 配置LoRA参数 from peft import LoraConfig, get_peft_model lora_config = LoraConfig( r=8, # 低秩矩阵维度 lora_alpha=32, target_modules=["q_proj", "v_proj"], # 修改注意力层的投影矩阵 lora_dropout=0.05 ) model = get_peft_model(model, lora_config) # 训练循环示例 optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4) for epoch in range(3): for batch in train_loader: inputs = tokenizer(batch["text"], return_tensors="pt", padding=True) outputs = model(**inputs, labels=inputs["input_ids"]) loss = outputs.loss loss.backward() optimizer.step() optimizer.zero_grad() ``` ## 三、关键参数解析 $$ \text{LoRA更新公式：} W&#39; = W + \alpha \cdot \Delta W $$ 其中$W \in \mathbb{R}^{d \times k}$为原始参数矩阵，$\Delta W$为低秩更新矩阵，$\alpha$为缩放系数。该技术通过低秩分解（$r=8$）大幅减少可训练参数量[^1] ## 四、行业应用案例 1. **金融领域**：使用星火大模型微调财务报表分析模型 2. **医疗领域**：基于文心大模型构建病历自动生成系统 3. **客服场景**：微调Llama-2实现多轮对话管理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值