微调llama 3 — PEFT微调和全量微调

已于 2024-05-05 15:52:55 修改
阅读量4.6k 收藏 46
点赞数 31
文章标签： llama 人工智能 深度学习
于 2024-04-24 12:42:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guojiajiajiu/article/details/138139853
版权

1. llama 3 微调基础

1.1 llama 3 简介

官方blog
llama 3 目前有两个版本：8B版和70B版。8B版本拥有8.03B参数，其尺寸较小，可以在消费者硬件上本地运行。

Llama 3与Llama 2具有相同的架构，但词汇表要大得多，包含128k entries，而Llama 2只有32k entries，根据Meta的说法，词汇表的扩展显著提高了模型表现。Llama 3的预训练数据包含5%的高质量非英语数据。注意：Meta在model card中仍然提到Llama 3更适合用于英语任务。

另一方面，词汇表的扩展意味着token embeddings需要更多的数据才能被训练的更准确。Meta在15T tokens上训练Llama 3。相比之下，Llama 2只在2T tokens上训练，Google Gemma在6T tokens训练，这在当时似乎已经很多了。

模型的性能表现如下图所示：
在这里插入图片描述

1.2 llama 3 8b Fully Fine-tuning内存占用分析

Fully Fine-tuning an LLM需要更新其所有参数，这种微调需要大量的内存。

  • 模型需要被完全加载到 GPU 内存中
  • 此外，通常用于微调 LLMs 的优化器 AdamW 会为模型中的每个参数创建并存储 2 个参数在 GPU 内存中
  • 并且我们还需要存储在微调过程中创建的张量，即激活值，以便在反向传播过程中用于更新模型参数的梯度。

对Llama 3 8B进行微调，例如，批量大小为8，序列长度为512，将消耗128.87GB的显存。注意：这个内存消耗是一个估计值，没有考虑任何的优化，比如梯度检查点和张量并行。

modelloading the modeloptimizer statesactivationstotal
llama 3 8b14.96GB59.83GB54.08GB128.87GB

（估算大型语言模型（LLM）内存消耗的计算方法）

幸运的是，我们可以很容易地减少这三种参数的内存消耗：

  • Optimizer states：默认情况下，AdamW 的参数为 float32，每项占用 4 字节。AdamW-8bit 是另一种不错的选择，它将参数量化为 8 位，即减少了内存消耗从 59.8 GB 到 15 GB。如果使用的框架不复制模型参数，内存消耗会大大减少。
  • Model：我们可以将模型量化为4位。它将内存消耗分成近4份，即从15 GB到4 GB。在实践中，为了保持其性能，并不是所有的LLM模块都会被量化。
  • Activations：我们需要存储激活来计算梯度。然而，使用gradient checkpointing，我们可以在反向传播过程中动态地重新计算激活值，而不是在整个训练过程中都存储这些激活值。它大大减少了激活的内存消耗，从54GB减少到10 GB。

在应用了所有这些优化措施之后，微调过程需要29GB的内存。虽然这仍然太多，但至少现在可以使用两个24GB的GPU来对模型进行微调了。

1.3 llama 3 8b PEFT Fine-tuning内存占用分析

使用PEFT方法，如LoRA，我们可以在模型顶部微调一个适配器，不需要完全重新训练模型。为了进一步降低内存消耗。

  1. 使用LoRA，需要一个带有24 GB RAM的GPU来微调Llama 3；
  2. 使用QLoRA，只需要一个带有16 GB RAM的GPU。

2. PEFT方法微调llama 3

1、QLoRA 是量化的 LoRA 与 LLMs 的结合。要使用这种方法对 Llama 3 8B 进行微调，我们需要安装

pip install --upgrade bitsandbytes transformers peft accelerate datasets trl

2、然后导入需要的pkgs

import torch, os
from datasets import load_dataset
from peft import LoraConfig, prepare_model_for_kbit_training
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
    TrainingArguments,
)
from trl import SFTTrainer

3、如果你拥有较新的GPU，就可以使用bfloat16数据类型以获得更好的训练稳定性，并使用FlashAttention来减少处理长序列时的内存消耗。下面的代码会自动检测GPU是否兼容bfloat16、FlashAttention：

#use bf16 and FlashAttention if supported
if torch.cuda.is_bf16_supported():
  os.system('pip install flash_attn')
  compute_dtype = torch.bfloat16
  attn_implementation = 'flash_attention_2'
else:
  compute_dtype = torch.float16
  attn_implementation = 'sdpa'

4、然后，我们需要初始化并配置Tokenizer。通常，LLMs在预训练时不包含pad_token。然而，在微调过程中，由于我们的训练示例长度不相同，我们需要将其填充到batch中。我们可以创建并添加一个pad_token到词汇表中，但更简单的选择是将eos_token指定为pad_token。

model_name = "meta-llama/Meta-Llama-3-8B"
#Tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name, add_eos_token=True, use_fast=True)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.pad_token_id =  tokenizer.eos_token_id
tokenizer.padding_side = 'left'

注意，我们使用的是左边填充。如果想使用flash_attention，右填充是不兼容的。

5、至于微调数据集，可以选择了 timdettmers/openassistant-guanaco，因为这个数据集足够小。

6、然后，我们创建bnb_config并加载模型：

bnb_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype=compute_dtype,
        bnb_4bit_use_double_quant=True,
)
model = AutoModelForCausalLM.from_pretrained(
          model_name, quantization_config=bnb_config, device_map={"": 0}, attn_implementation=attn_implementation
)

7、bnb_config定义了在4位精度下加载模型，并对量化常数进行量化（即双重量化）。在前向传递过程中，如果你的GPU支持bfloat16数据类型，则将创建bfloat16张量。请注意：如果你的GPU不支持bfloat16，则笔记本将使用float16。然而，这可能会导致训练不稳定。如果你发现训练损失降至0或NaN，请将compute_dtype更改为torch.float32。

8、为了减少激活的内存消耗，我们还需要启用梯度检查点，这是通过

model = prepare_model_for_kbit_training(model)

9、对于 LoRA 的配置，可以使用：

peft_config = LoraConfig(
        lora_alpha=16,
        lora_dropout=0.05,
        r=16,
        bias="none",
        task_type="CAUSAL_LM",
        target_modules= ['k_proj', 'q_proj', 'v_proj', 'o_proj', "gate_proj", "down_proj", "up_proj"]
)

可以增加rank来获得更好的结果。增加rank也会增加内存消耗，因为rank增大，适配器的参数也会增加。

10、接下来，定义训练参数和超参数：

training_arguments = TrainingArguments(
        output_dir="./Llama3_8b_QLoRA",
        evaluation_strategy="steps",
        do_eval=True,
        optim="paged_adamw_8bit",
        per_device_train_batch_size=8,
        gradient_accumulation_steps=4,
        per_device_eval_batch_size=8,
        log_level="debug",
        save_strategy="epoch",
        logging_steps=100,
        learning_rate=1e-4,
        fp16 = not torch.cuda.is_bf16_supported(),
        bf16 = torch.cuda.is_bf16_supported(),
        eval_steps=100,
        num_train_epochs=3,
        warmup_ratio=0.1,
        lr_scheduler_type="linear",
)

11、使用"paged_adamw_8bit"，会在需要时将一些优化器状态存储到CPU RAM中，以进一步减少GPU内存消耗。

补充：QLoRA其实是核心就是在LoRA的技术加上深度的量化过程。核心优化思想包括以下三点：

  • 4bit NoramlFloat Quantization：一种新的数据类型，只用4字节表征参数并且保证整个模型的精度损失极小.（和我们之前的Int8，int4量化方式不同, 原理这篇先不展开了)
  • Double Quantization：对第一次量化后的那些常量再进行一次量化，减少存储空间。
  • Paged optimizers：使用NVIDIA统一内存功能，该功能在CPU和GPU之间进行自动page对page传输，以便在GPU偶尔OOM的情况下进行。可以从现象上理解成出现训练过程中偶发OOM时能够自动处理，保证训练正常训练下去。

对于批量大小，随机选择了一个批量大小为32（每个设备的批量大小为8，梯度累积步骤为4（8x4=32）的配置）。该配置消耗了16.6 GB的GPU内存。如果你只有16 GB的GPU，请将每个设备的批量大小减少到4。

12、最后，开始微调时，运行以下命令：

trainer = SFTTrainer(
        model=model,
        train_dataset=ds['train'],
        eval_dataset=ds['test'],
        peft_config=peft_config,
        dataset_text_field="text",
        max_seq_length=512,
        tokenizer=tokenizer,
        args=training_arguments,
)

trainer.train()

13、使用Google Colab的L4实例完成这3个epoch大约需要10个小时。

3. 将微调后的adapter集成到Llama 3中

为了避免每次使用时都加载adapter，你可以将其合并到 Llama 3 中。当适配器已经使用 QLoRA 进行微调时，必须小心进行合并，以保持adapter的大部分准确性。我们必须遵循以下步骤：

  1. 加载并量化Llama 3
  2. Dequantize Llama 3 to the compute dtype used during QLoRA fine-tuning
  3. Merge the adapter into the dequantized model
  4. Save the resulting model
    最后得到一个没有量化的模型。我们不能像微调那样用bitsandbytes量化它，否则会严重降低模型的性能。使用AWQ或GPTQ来代替即可。

4. 使用AWQ对llama 3进行4位量化

AWQ是一种量化方案，它保留了模型的重要权重。AWQ很准确，也受到高效的推理核的支持。首先需要安装AutoAWQ：

pip install autoawq

然后，用几行代码执行量化，例如，要量化前一节合并后得到的模型：

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

tokenizer_path = "meta-llama/Meta-Llama-3-8B"
model_path = './dqz_merge/'
quant_path = 'llama-3-oasstguanaco3e-awq-4bit'
quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }

# Load model and tokenizer
model = AutoAWQForCausalLM.from_pretrained(model_path, safetensors=True)
tokenizer = AutoTokenizer.from_pretrained(tokenizer_path, use_fast=True)

# Quantize
model.quantize(tokenizer, quant_config=quant_config)

# Save quantized model with safetensors
model.save_quantized("./"+quant_path, safetensors=True)
tokenizer.save_pretrained("./"+quant_path)

这将把量化模型保存到一个名为“llama-3-oasstguanaco3e-awq-4bit”的目录中。

5. 完全微调模型

QLoRA和LoRA只是微调适配器。如果你真的想微调整个模型，你可以尝试GaLore。GaLore将梯度投影到低秩子空间，以显著减少它们的维数，从而减少它们的内存消耗。虽然GaLore大大降低了优化器状态的内存需求，但你仍然需要48GB的GPU RAM。

CODE

具体的notebook代码可以在github仓库中拿到。

notebook中包含了4个部分:

  1. QLoRA fine-tuning
  2. Merging the fine-tuned adapter into the base model
  3. Quantization the Llama 3 with AWQ
  4. Appendices: LoRA and GaLore fine-tuning
xiaoxiaoyu290
关注
  • 31
    点赞
  • 踩
  • 46
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
llama3-中文微调训练集，让llama3更懂中文
04-22
Llama-3是由Meta（Facebook）AI发布的最新一代大型语言模型。它具有两种参数规模：80亿（8B）和700亿（70B），并且还有一个超过4000亿参数的版本正在训练中。Llama-3在多个行业标准测试中展现了卓越的性能，特别是在对话类应用中，其表现超过了许多现有的开源聊天模型。 在技术方面，Llama-3采用了优化的自回归Transformer架构，这种架构专为处理复杂的文本生成任务设计，能够有效提升生成文本的连贯性和相关性。它还结合了监督式微调（SFT）和带人类反馈的强化学习（RLHF），这种混合方法不仅增强了模型的帮助性，也提高了安全性，使得模型在实际应用中更加可靠和符合用户预期。 Llama-3使用了超过15万亿令牌的公开在线数据进行预训练，这些数据是前代Llama-2的七倍。此外，Llama-3支持8K长文本，具有128K token的词汇量，这有助于实现更好的性能。其主要亮点还包括增强的推理和代码能力，以及训练效率比Llama-2高3倍。 Meta表示，Llama-3在多个关键的基准测试中性能优于业界先进同类模型，能够进行复杂的推理，更遵循指令，并能够可视化想法
大模型相关介绍，包括大模型概述，llama3结构，微调策略等
最新发布
06-17
大模型相关介绍，包括大模型概述，llama3结构，微调策略等。大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，llama3结构，微调策略等大模型相关介绍，包括大模型概述，lla
Llama3中文微调模型-Llama3-Chinese-8B-Instruct概述
ASS-ASH的博客
04-24 4514
Llama3的最大模型参数规模达到了惊人的400B。），8B模型和70B模型全系列都采用了GQA，GQA通过将查询分成不同的部分并给予它们不同的重点来理解查询的层次结构，这有助于系统更好地理解复杂问题并找到更相关的信息。通过LoRA微调，我们不仅保留了Llama3模型在预训练阶段获得的知识，还通过针对性的架构调整和参数优化，进一步提升了模型对中文语境的适应性和任务执行的准确性。这一过程中，我们特别注重了超参数的精细调整，并通过反复的模型评估与迭代，确保了微调后的模型能够在实际应用中稳定地提供高质量的输出。
About Firefly(流萤): 中文对话式大语言模型(全量微调+QLoRA)，支持微调Llma2、Llama、Qwen、B
08-18
支持微调XVERSE-13B。 开源Firefly项目多轮对话微调的firefly-chatglm2-6b。 支持微调通义千问Qwen-7B，该模型在各个中英文榜单，表现非常优异。 支持多轮对话微调ChatGLM2，比官方的训练方法更加充分高效（近期会进行源码分析）。当前微调了2500步的效果：Firefly-ChatGLM2-6B生成样例 开源firefly-llama2-13b，在Open LLM排行榜上以62分，同量级模型排名第三，比榜首略低0.5分。 开源firefly-baichuan-13b，使用一百万多轮对话数据，提升baichuan-13b的多轮对话能力。 Firefly-Baichuan-13B生成样例 开源firefly-llama-13b，在Hugging Face的Open LLM排行榜上复刻Vicuna-13B，比Vicuna-13b-1.1略高0.2分，比llams-2-13b-chat略低0.5分。 支持训练LLaMA-2、ChatGLM2、Baichuan、通义千问Qwen-7B、书生·浦语InternLM、L
Llama 3大模型发布！快速体验推理及微调
youmaob的博客
04-23 1161
相较于前一代模型Llama-2，Llama-3在训练过程中使用了高达15T tokens的数据，这使得其在多个关键领域，包括推理、数学问题解答、代码生成和指令跟踪等方面，性能得到了显著的提升。为了进一步提高效率，Llama-3还引入了一些创新技术，如分组查询注意力（grouped query attention）和掩码（masking）等，这些技术有助于开发者在保持低能耗的同时，实现卓越的性能表现。预计不久后，Meta将发布关于Llama-3的详细论文，以供研究人员和开发者深入了解其架构和性能。
Llama 3 微调项目实践与教程（XTuner 版）
人工智能曾小健
04-20 1072
到此为止我们就让 Llama3 具备了“他是由SmartFlowAI 打造的人工智能助手”的个人认知，本文演示平台为 InternStudio，如其他平台只需适当调整相关路径也能比较顺畅的运行起来，XTuner 玩转 Llama3 图片理解更多玩法请参考：https://github.com/SmartFlowAI/Llama3-XTuner-CN/ （欢迎 Star），同时本周天晚 8 点我们邀请了书生·浦语众多社区大佬一起来分享，欢迎预约直播一起讨论。或者软链接 InternStudio 中的模型。
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 2545
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
Llama 3的微调、量化、知识库接入及部署
xx_nm98的博客
05-13 1243
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
一些Llama3微调工具以及如何在Ollama中运行
xiangxueerfei的博客
05-30 1370
Llama3是Meta提供的一个开源大模型，包含8B和 70B两种参数规模，涵盖预训练和指令调优的变体。这个开源模型推出已经有一段时间，并且在许多标准测试中展示了其卓越的性能。特别是Llama3 8B，其具备小尺寸和高质量的输出使其成为边缘设备或者移动设备上实现LLM的完美选择。但是Llama3也还有许多缺陷，因此，在场景应用中，有时候还需要对其进行微调，以提升中文能力、场景应用的专业度等。目前有许多团队在做微调工具，他们的贡献提高了我们的效率、减少失误。比较优秀的例如：MLX-LMPyReftlitgpt
大模型入门（四）—— 基于peft 微调 LLaMa模型
2301_81888214的博客
05-09 1609
llama-7b模型大小大约27G，本文在单张/两张 16G V100上基于hugging face的peft库实现了llama-7b的微调。
大模型微调-快速微调LLaMA实现-附项目源码+流程教程-优质项目实战.zip
05-21
3. **模型加载**：从NVIDIA的官方存储库或Hugging Face模型 hub下载预训练的LLaMA模型，并加载到内存中。 4. **微调配置**：设定微调的超参数，如学习率、批次大小、训练轮数等，这些参数会影响模型的训练效果和...
ChatGLM和LLaMA中文指令微调教程.zip
06-24
3. **微调设置**：掌握微调的参数配置，包括学习率、批次大小、训练轮数等，这些都将影响模型的性能和训练时间。 4. **训练流程**：按照教程步骤进行模型的训练，这可能涉及使用深度学习框架如PyTorch或TensorFlow...
LLama3 中文大模型进行指令微调的中文聊天语言模型
06-06
Llama3-8B-Chinese-Chat 是一款基于 Meta-Llama-3-8B-Instruct 模型进行指令微调的中文聊天语言模型。该模型针对中文和英文用户进行了专门的优化，具有角色扮演、工具使用、数学计算等多种功能。最新的 v2.1 版本相...
llama3部署和微调
chi93的博客
05-14 976
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。五一期间，机智流联合书生·浦语组织了llama3 部署和微调的训练营。期间提供代码和算力支持。收获颇丰，特此记录。xtunerstreamlitlmdeploylagent记录了llama3的微调和部署的过程。整体按照教程来，感觉还是比较顺利的。主要的问题就会有：环境依赖的冲突，模型占用显卡空间不足等。中间出过的乌龙： 在错误的环境中安装包，出现各种需要去解决的冲突。
Llama3微调教程：超简单，人人都可以打造属于自己的GPT！
huang9604的博客
05-21 1231
随着Llama 3的发布，国内各路英雄豪杰纷纷开启了炼丹之旅。Llama-3 8b在惊人的15万亿令牌上训练，而Llama-2仅为2万亿。毋庸置疑，Llama 3目前是开源大模型中能力最强的！其跑分成绩已经赶上了GPT-4。
Llama3本地部署与高效微调入门
水工鸟的专栏
05-06 2839
为了保持公司在AI（人工智能）开源大模型领域的地位，社交巨头Meta推出了旗下最新开源模型。当地时间4月18日，Meta在官网上宣布公布了旗下最新大模型Llama 3。目前，Llama 3已经开放了80亿（8B）和700亿（70B）两个小参数版本，上下文窗口为8k。Meta表示，通过使用更高质量的训练数据和指令微调，Llama 3比前代Llama 2有了“显著提升”。未来，Meta将推出Llama 3的更大参数版本，其将拥有超过4000亿参数。
Llama3-Tutorial之Llama3 Agent能力体验+微调（Lagent版）
codelearning的专栏
05-07 574
Agent-FLAN 数据集是上海人工智能实验室 InternLM 团队所推出的一个智能体微调数据集，其通过将原始的智能体微调数据以多轮对话的方式进行分解，对数据进行能力分解并平衡，以及加入负样本等方式构建了高效的智能体微调数据集，从而可以大幅提升模型的智能体能力。可以看到，经过 Agent-FLAN 数据集的微调后，Llama3-8B-Instruct 模型已经可以成功地调用工具了，其智能体能力有了很大的提升。我们已经为大家准备好了可以一键启动的配置文件，主要是修改好了模型路径、对话模板以及数据路径。
一文速览Llama 3：从Llama 3的模型架构到如何把长度扩展到100万
结构之法 算法之道
04-19 8619
4.19日凌晨正准备睡觉时，突然审稿项目组的文弱同学说：Meta发布Llama 3系列大语言模型了一查，还真是本文以大模型开发者的视角，帮你迅速梳理下LLama的关键特征，并对比上一个版本的LLama2，且本文后续，将更新用我司paper-review数据集微调llama3的训练过程。
请给出基于 huggingface 微调 LLaMa 的详细代码
05-31
好的，以下是基于 huggingface 的微调 LLaMa 的详细代码： 首先，我们需要安装 huggingface 的 transformers 和 datasets 库： ``` !pip install transformers !pip install datasets ``` 然后，我们可以下载 LLaMa 数据集并将其转换为适合模型训练的格式： ``` from datasets import load_dataset, DatasetDict # Load the LLaMa dataset llama = load_dataset("llama") # Convert the dataset to the format required by the model def format_dataset(data): return {"input_text": data["text"], "target_text": data["text"]} formatted_llama = llama.map(format_dataset) dataset_dict = DatasetDict({"train": formatted_llama["train"], "validation": formatted_llama["validation"]}) ``` 接下来，我们可以加载预训练的 GPT2 模型： ``` from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer # Load the GPT2 tokenizer and model tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-125M") model = AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neo-125M") ``` 然后，我们可以设置训练参数并使用 Trainer 类进行微调： ``` # Set the training arguments training_args = TrainingArguments( output_dir="./results", evaluation_strategy="steps", eval_steps=500, save_steps=1000, num_train_epochs=3, learning_rate=2e-5, per_device_train_batch_size=16, per_device_eval_batch_size=16, warmup_steps=500, weight_decay=0.01, logging_dir="./logs", logging_steps=500, load_best_model_at_end=True, metric_for_best_model="eval_loss", ) # Create the Trainer instance and train the model trainer = Trainer( model=model, tokenizer=tokenizer, args=training_args, train_dataset=dataset_dict["train"], eval_dataset=dataset_dict["validation"], ) trainer.train() ``` 微调完成后，我们可以保存模型并使用它来生成文本： ``` # Save the trained model trainer.save_model("./gpt-neo-125M-llama") # Generate text using the trained model from transformers import pipeline text_generator = pipeline("text-generation", model="./gpt-neo-125M-llama", tokenizer="EleutherAI/gpt-neo-125M") generated_text = text_generator("Hello, how are you?", max_length=100) print(generated_text[0]["generated_text"]) ``` 这就是基于 huggingface 的微调 LLaMa 的详细代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值