peft模型微调_Prefix-tuning

Prefix-Tuning是一种针对预训练语言模型（如GPT系列或BERT等）的参数微调方法，由Google团队在2020年提出。与传统的Fine-tuning方式不同，Prefix-Tuning不是对模型的所有参数进行更新，而只是在每个Transformer层的输入序列前添加一个可学习的“prefix”向量序列，仅对这些prefix向量进行优化以适应特定任务。

在实际应用中，对于不同的下游任务，只需训练一组特定的prefix向量，而无需改变模型原有的参数。这种方式既能利用预训练模型强大的语言理解能力，又可以有效缓解过拟合问题，减少对大量任务数据的需求，同时也能提高模型的泛化能力和多任务处理效率。

在微调过程中，主要步骤如下：

1、为每层Transformer添加一个可学习的prefix向量。
使用下游任务的数据集进行训练，优化的目标是使得添加了prefix向量后模型的输出能够更好地匹配任务的真实标签。

2、训练完成后，保存最优的prefix向量，然后在预测阶段将它们插入到对应层的输入序列前端，与原始输入文本一起输入到预训练模型中，从而得到任务相关的预测结果。

下面简单介绍通过peft使用prefix-tuning对模型进行微调的简单流程。

# 基于peft使用Prefix tuning对生成式对话模型进行微调 
from datasets import Dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForSeq2Seq, TrainingArguments, Trainer

# 加载数据集
ds = Dataset.load_from_disk("../alpaca_data_zh")
print(ds[:3])

# 数据集处理
tokenizer = AutoTokenizer.from_pretrained("../models/bloom-1b4-zh")
# 数据处理函数
def process_func(example):
    MAX_LENGTH = 256
    input_ids, attention_mask, labels = [], [], []
    instruction = tokenizer("\n".join(["Human: " + example["instruction"], example["input"]]).strip() + "\n\nAssistant: ")
    response = tokenizer(example["output"] + tokenizer.eos_token)
    input_ids = instruction["input_ids"] + response["input_ids"]
    attention_mask = instruction["attention_mask"] + response["attention_mask"]
    labels = [-100] * len(instruction["input_ids"]) + response["input_ids"]
    if len(input_ids) > MAX_LENGTH:
        input_ids = input_ids[:MAX_LENGTH]
        attention_mask = attention_mask[:MAX_LENGTH]
        labels = labels[:MAX_LENGTH]
    return {
        "input_ids": input_ids,
        "attention_mask": attention_mask,
        "labels": labels
    }
# 数据处理
tokenized_ds = ds.map(process_func, remove_columns=ds.column_names)
tokenized_ds

# 创建模型
model = AutoModelForCausalLM.from_pretrained("../models/bloom-1b4-zh", low_cpu_mem_usage=True)

from peft import PrefixTuningConfig, get_peft_model, TaskType
# 配置微调参数
config = PrefixTuningConfig(task_type=TaskType.CAUSAL_LM, 
                            num_virtual_tokens=10, 
                            prefix_projection=True)
# 创建模型
model = get_peft_model(model, config)

# 查看微调参数
model.print_trainable_parameters()

# 配置训练参数
args = TrainingArguments(
    output_dir="./chatbot",
    per_device_train_batch_size=1,
    gradient_accumulation_steps=8,
    logging_steps=10,
    num_train_epochs=1
)

# 创建训练器
trainer = Trainer(
    model=model,
    args=args,
    train_dataset=tokenized_ds,
    data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True),
)

# 模型训练
trainer.train()

# 模型推理
model = model.cuda()
ipt = tokenizer("Human: {}\n{}".format("周末去重庆怎么玩？", "").strip() + "\n\nAssistant: ", return_tensors="pt").to(model.device)
res = tokenizer.decode(model.generate(**ipt, max_length=128, do_sample=True)[0], skip_special_tokens=True)
print(res)