peft模型微调--P-tuning

P-Tuning 是一种针对大模型进行参数高效微调的方法，它特别关注于对大规模预训练语言模型的微调过程。这种方法通过引入连续提示（continuous prompts）的方式替代传统的离散文本提示（discrete text prompt），以更少的可训练参数量来适应特定下游任务。

在P-Tuning中，通常会为输入序列添加一个或多个可学习的向量（虚拟token），这些向量作为额外的“prompt”嵌入到模型的输入序列中，用于指导模型生成与特定任务相关的输出。相比于直接对整个模型进行微调，P-Tuning仅需要调整这部分新增的prompt参数，从而显著减少所需的计算资源和时间。

具体到实际应用时，例如在Hugging Face Transformers库中实现P-Tuning的步骤可能包括：

准备数据集：根据目标任务收集并格式化相应的训练、验证数据集。
初始化模型：加载预训练的大规模语言模型，并设置模型为只训练部分参数，即只更新prompt token的嵌入。
设置优化器和损失函数：选择合适的优化器，如AdamW，并定义与任务相匹配的损失函数。
微调循环：将带有可学习prompt的输入喂给模型，然后计算损失并反向传播更新prompt参数。
验证与评估：在验证集上监控性能，并根据需求调整超参数或提前停止训练。
测试与部署：完成训练后，在测试集上评估模型性能，并将微调好的模型应用于实际场景。

随着技术的发展，P-Tuning已经迭代到了多个版本（如P-Tuning v1/v2等），每个版本可能有其独特的设计和优化策略。

下面简单介绍通过peft使用p-tuning对模型进行微调训练的简单流程。

# 基于peft使用P tuning对生成式对话模型进行微调 
from datasets import Dataset
from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForSeq2Seq, TrainingArguments, Trainer

# 加载数据集
ds = Dataset.load_from_disk("/alpaca_data_zh")
print(ds[:3])

# 数据集处理
tokenizer = AutoTokenizer.from_pretrained("../models/bloom-1b4-zh")
# 数据处理函数
def process_func(example):
    MAX_LENGTH = 256
    input_ids, attention_mask, labels = [], [], []
    instruction = tokenizer("\n".join(["Human: " + example["instruction"], example["input"]]).strip() + "\n\nAssistant: ")
    response = tokenizer(example["output"] + tokenizer.eos_token)
    input_ids = instruction["input_ids"] + response["input_ids"]
    attention_mask = instruction["attention_mask"] + response["attention_mask"]
    labels = [-100] * len(instruction["input_ids"]) + response["input_ids"]
    if len(input_ids) > MAX_LENGTH:
        input_ids = input_ids[:MAX_LENGTH]
        attention_mask = attention_mask[:MAX_LENGTH]
        labels = labels[:MAX_LENGTH]
    return {
        "input_ids": input_ids,
        "attention_mask": attention_mask,
        "labels": labels
    }
# 数据处理
tokenized_ds = ds.map(process_func, remove_columns=ds.column_names)
tokenized_ds

# 创建模型
model = AutoModelForCausalLM.from_pretrained("../models/bloom-1b4-zh", low_cpu_mem_usage=True)

# 模型微调
from peft import PromptEncoderConfig, TaskType, get_peft_model, PromptEncoderReparameterizationType
# 微调参数配置
config = PromptEncoderConfig(task_type=TaskType.CAUSAL_LM, 
                             num_virtual_tokens=10,
                             encoder_reparameterization_type=PromptEncoderReparameterizationType.MLP, # 有MLP跟LSTM可选
                             encoder_dropout=0.1, 
                             encoder_num_layers=5, 
                             encoder_hidden_size=512)


# 创建微调模型
model = get_peft_model(model, config)

# 查看微调参数
model.print_trainable_parameters()

# 配置训练参数
args = TrainingArguments(
    output_dir="./peft_model",
    per_device_train_batch_size=1,
    gradient_accumulation_steps=8,
    logging_steps=10,
    num_train_epochs=1
)

# 创建训练器
trainer = Trainer(
    model=model,
    args=args,
    train_dataset=tokenized_ds,
    data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True),
)

# 模型训练
trainer.train()

# 模型推理
model = model.cuda()
ipt = tokenizer("Human: {}\n{}".format("领导不干活怎么办？", "").strip() + "\n\nAssistant: ", return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(**ipt, max_length=256, do_sample=True)[0], skip_special_tokens=True))