使用peft进行Fine Tuning（大模型微调）

Python_金钱豹

于 2025-05-07 15:45:45 发布

阅读量498

点赞数 17

文章标签：开源人工智能大数据知识图谱 easyui

本文链接：https://blog.csdn.net/Python_cocola/article/details/147767713

版权

1. 大模型微调简介

大模型（Large Language Models, LLMs）通常是指模型参数量极大的深度学习模型，能够理解和生成人类语言，在大量的文本数据上进行训练，可以执行广泛的任务。

我们首先会想为什么要进行大模型微调，这是因为大模型的训练成本极其高昂，同时大模型的知识库有其滞后性，以及希望在特定任务上的能力能够得到提升。为此，微调（Fine-tuning）成为了一种重要手段，其借鉴于计算机视觉模型的迁移学习，这是一个非常伟大的想法。总之，通过对预训练模型进行针对性调整，我们可以使其适应具体应用场景，那么更新大模型知识的方法除了微调这一种，还有一种叫RAG（增强检索生成），这就是后话了。

2. 微调的主要方法

2.1 全量微调（Full Fine-tuning）

描述：对预训练模型的所有参数都进行更新
优点：灵活性高
缺点：需要较大的计算资源
使用场景：目标任务数据量大且计算资源充足（一般不使用）

2.2 指令微调（Instruction Tuning）

描述：用在特定任务任务下的明确指令和示例也对大模型进行微调，不更新模型知识
优点：专注于特定任务的微调，保留了模型的基础能力
缺点：限制较大，无法充分发挥模型能力

2.3 参数高效微调（Parameter-Efficient Fine-tuning，PEFT）

参数高效微调有以下几种，我们后续会主要实战lora微调，其他的将在后续的文章的里更新。

2.3.1 Adapter Tuning

描述：在模型的每一层插入小型的适配模块，仅训练这些模块的参数

2.3.2 Prompt Tuning

描述：通过优化提示（prompt）而非模型参数来引导模型输出

2.3.3 Prefix Tuning

描述：在模型输入前添加一个连续的且任务特定的向量序列称之为prefix，固定PLM的所有参数，只更新优化特定的任务的prefix

2.3.4 LoRA （Low-Rank Adaptation）

描述：通过低秩分解的方式更新模型权重，显著减少了需要训练的参数数量。

3. 微调的关键步骤

3.1 数据准备

我们要收集与目标任务相关的标注数据。本篇文章将使用alpaca_gpt4_data_zh.json数据集进行微调。

3.2 模型选择

我们要选择适合任务需求的预训练模型，其中Qwen系列的模型在各个尺寸上的都比较齐全，为方便演示本次演示将使用qwen2.5-0.5b。

3.3 超参数设置

我们要确定学习率、批量大小、训练轮数等超参数，但这些都需要我们进行大量的实践，也就是说，什么样的超参数会更好，更多的是根据实验人员的经验来设置的。

3.4 训练与验证

在训练集上进行微调，此次训练会使用huggingface的库peft。

3.5 模型评估与部署

在测试集上全面评估模型性能，确保其满足实际应用需求。

4 微调实战

4.1 实验环境

NVIDIA RTX 3060 （12GB）显存
transformers==4.46.3
peft==0.14.0
datasets

4.2 安装依赖

pip install transformers
pip install peft

4.3 准备数据集

from datasets import load_dataset
dataset = load_dataset('json', data_files='alpaca_gpt4_data_zh.json')
# dataset["train"].save_to_disk("alpaca_gpt4_data_zh")
dataset = dataset["train"].train_test_split(test_size=0.1)

4.4 加载预训练模型和分词器

# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2.5-0.5B-Instruct')
import torch
import transformers
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained(model_dir)
# 设置精度为float16
model = AutoModelForCausalLM.from_pretrained(model_dir, torch_dtype=torch.float16)
# 将模型参数迁移到GPU
model = model.cuda()
# 打印模型结构
print(model)

4.5 配置LoRA

from peft import LoraConfig, get_peft_model, set_peft_model_state_dict, get_peft_model_state_dict, TaskType
lora_r = 32
lora_alpha=16
target_modules=["q_proj", "k_proj", "v_proj"]
loraconfig = LoraConfig(
    r=lora_r,
    lora_alpha=16,
    target_modules=target_modules,
    task_type=TaskType.CAUSAL_LM
)
model = get_peft_model(model,loraconfig)

4.6 数据预处理

def generate_tokenize(one):
    MAX_LENGTH = 256
    input_ids,attention_mask,labels = [],[],[]
    instruction = tokenizer("\n".join(["Human: "+ one["instruction"],one["input"]]).strip() + "\n\nAssistant: ")
    response = tokenizer(one["output"] + tokenizer.eos_token)
    input_ids = instruction["input_ids"] + response["input_ids"]
    attention_mask = instruction["attention_mask"] + response["attention_mask"]
    labels = [-100] * len(instruction["input_ids"]) + response["input_ids"]
    if len(input_ids) > MAX_LENGTH:
        input_ids = input_ids[:MAX_LENGTH]
        attention_mask = attention_mask[:MAX_LENGTH]
        labels = labels[:MAX_LENGTH]
    return {
        "input_ids": input_ids,
        "attention_mask": attention_mask,
        "labels": labels
    }

tokenizer_dataset = dataset.map(generate_tokenize, remove_columns=dataset['train'].column_names)
train_data = tokenizer_dataset['train']
val_data = tokenizer_dataset['test']

4.7 微调模型

from transformers import TrainingArguments, Trainer, DataCollatorForSeq2Seq

args = TrainingArguments(
    output_dir="./lora_ft",
    per_device_train_batch_size=8,
    logging_steps=10,
    num_train_epochs=1,
    fp16=True,
)

trainer = Trainer(
    model=model,
    args=args,
    train_dataset=train_data,
    data_collator=DataCollatorForSeq2Seq(tokenizer=tokenizer, padding=True),
)

trainer.train()

4.8 加载原有模型并合并训练完得到的权重

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
# 模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen2.5-0.5B-Instruct')

tokenizer = AutoTokenizer.from_pretrained(model_dir)
model = AutoModelForCausalLM.from_pretrained(model_dir, torch_dtype=torch.float16)
model = model.cuda()

from peft import PeftModel
lora_model = PeftModel.from_pretrained(model, model_id="lora_ft/checkpoint-5492")

prompt = tokenizer("Human: {}\n{}".format("生成一个人们去野营旅行可能需要的十件物品的清单。", "").strip() + "\n\nAssistant: ", return_tensors="pt").to(model.device)
response = tokenizer.decode(lora_model.generate(**prompt,max_length=256,do_sample=False)[0],skip_special_tokens=True)
print(response)

4.9 保存微调后的模型

output_model_dir = "merge_model"
mergemodel = lora_model.merge_and_unload()
mergemodel.save_pretrained(output_model_dir)
tokenizer.save_pretrained(output_model_dir)

4.10 使用微调后的模型

from transformers import AutoModelForCausalLM, AutoTokenizer
model_dir = "merge_model"

tokenizer = AutoTokenizer.from_pretrained(model_dir)
model = AutoModelForCausalLM.from_pretrained(model_dir)
model = model.cuda()

prompt = "生成一个人们去野营旅行可能需要的十件物品的清单。"

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)

generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

本次微调大概需要25分钟，还是很快的，同时也会发现微调后针对同一个问题回答的效果更好了，当然这只是一个小的实验，仍然有很多工作可以去做，下面是微调前和微调后的对比。

微调前

微调后

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述