peft＋llama3训练自定义数据

要微调自己的模型训练 LLaMA 3，则需要准备一个 JSON 格式的数据集，其中每个条目包含输入文本和相应的标签（如果有的话）。以下是一个 JSON 数据集的示例格式：

[
    {
        "input": "这是一个输入样本。",
        "label": "这是一个标签样本。"
    },
    {
        "input": "这是另一个输入样本。",
        "label": "这是另一个标签样本。"
    },
    // 更多样本...
]

在这个格式中，每个 JSON 对象包含一个 “input” 字段和一个 “label” 字段。输入字段包含你的模型需要预测的文本，而标签字段包含相应的目标输出。如果你的任务是语言建模，那么 “label” 字段通常是 “input” 字段的延续。
以下是一个使用 JSON 数据集微调 LLaMA 3 的代码案例：

import torch
from peft import LoraConfig, TaskType, get_peft_model
from transformers import LlamaForCausalLM, LlamaTokenizer, DataCollatorForLanguageModeling
from transformers import Trainer, TrainingArguments
from datasets import load_dataset
# 加载 LLaMA 3 模型和分词器
model = LlamaForCausalLM.from_pretrained("path/to/llama3/model")
tokenizer = LlamaTokenizer.from_pretrained("path/to/llama3/tokenizer")
# 设置 PEFT 的 LoraConfig
lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    task_type=TaskType.CAUSAL_LM
)
# 使用 PEFT 装饰模型
model = get_peft_model(model, lora_config)
# 加载 JSON 数据集
dataset = load_dataset('json', data_files={'train': 'path/to/train.json', 'validation': 'path/to/valid.json'})
# 准备数据集
def preprocess_data(examples):
    inputs = examples['input']
    labels = examples['label']
    tokenized_inputs = tokenizer(inputs, truncation=True, padding='max_length')
    tokenized_labels = tokenizer(labels, truncation=True, padding='max_length')
    tokenized_inputs['labels'] = tokenized_labels['input_ids']
    return tokenized_inputs
tokenized_dataset = dataset.map(preprocess_data, batched=True)
# 设置数据集格式
tokenized_dataset.set_format(type='torch', columns=['input_ids', 'attention_mask', 'labels'])
# 设置训练参数
training_args = TrainingArguments(
    output_dir="path/to/output/directory",
    per_device_train_batch_size=4,
    per_device_eval_batch_size=4,
    eval_steps=400,
    logging_steps=100,
    gradient_accumulation_steps=32,
    num_train_epochs=3,
    warmup_steps=500,
    learning_rate=2e-4,
    weight_decay=0.01,
    save_total_limit=3,
    fp16=True,
)
# 创建 Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=DataCollatorForLanguageModeling(
        tokenizer=tokenizer, mlm=False
    ),
    train_dataset=tokenized_dataset['train'],
    eval_dataset=tokenized_dataset['validation'],
)
# 开始训练
trainer.train()
# 保存模型
model.save_pretrained("path/to/output/directory")

在这个代码案例中，我们首先加载了 LLaMA 3 模型和分词器，并设置了 PEFT 的 LoraConfig。然后，我们加载了 JSON 格式的数据集，并使用 preprocess_data 函数对其进行预处理。接着，我们设置了训练参数并创建了 Trainer 实例，最后开始训练模型并保存。