大模型微调---Lora微调实战

一、前言

LoRA是一种参数高效的微调技术，通过低秩转换对大型语言模型进行适应性更新，减少了权重矩阵的更新成本。它通过学习低秩矩阵来调整权重，以适应特定任务，同时保持计算效率。

大模型都是过参数化的， 当用于特定任务时， 其实只有一小部分参数起主要作用。 也就是参数矩阵维度很高， 但可以用低维矩阵分解近似。

具体做法是， 在网络中增加一个旁路结构，旁路是A和B两个矩阵相乘。 A矩阵的维度是[d,r], B 矩阵的维度是[r,d], 其中r<<d, 一般r取1，2，4，8就够了。那么这个旁路的参数量将远远小于原来网络的参数W。LoRA训练时， 我们冻结原来网络的参数W, 只训练旁路参数A和B。 由于A和B的参数量远远小于W, 那么训练时需要的显存开销就大约等于推理时的开销。

LoRA微调并没有改变原有的预训练参数， 只是针对特定任务微调出了新的少量参数， 新的这些参数要与原有的预训练参数配合使用（实际使用时， 都是把旁路的参数和原来的参数直接合并， 也就是参数相加， 这样就完全不会增加推理时间）。

二、LoRA实战

我们使用huggingface的 pert库来简单使用LoRA

预训练模型与分词模型——Qwen/Qwen2.5-0.5B-Instruct
数据集——lyuricky/alpaca_data_zh_51k

2.1、下载模型到本地

# 下载数据集
dataset_file = load_dataset("lyuricky/alpaca_data_zh_51k", split="train", cache_dir="./data/alpaca_data")
ds = load_dataset("./data/alpaca_data", split="train")

# 下载分词模型
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
# Save the tokenizer to a local directory
tokenizer.save_pretrained("./local_tokenizer_model")

#下载与训练模型
model = AutoModelForCausalLM.from_pretrained(
    pretrained_model_name_or_path="Qwen/Qwen2.5-0.5B-Instruct",  # 下载模型的路径
    torch_dtype="auto",
    low_cpu_mem_usage=True,
    cache_dir="./local_model_cache"  # 指定本地缓存目录
)

2.2、加载模型与数据集

#加载分词模型
tokenizer_model = AutoTokenizer.from_pretrained("../local_tokenizer_model")

# 加载数据集
ds = load_dataset("../data/alpaca_data", split="train[:10%]")

# 记载模型
model = AutoModelForCausalLM.from_pretrained(
    pretrained_model_name_or_path="../local_llm_model/models--Qwen--Qwen2.5-0.5B-Instruct/snapshots/7ae557604adf67be50417f59c2c2f167def9a775",
    torch_dtype="auto",
    device_map="cuda:0")

2.3、处理数据

"""
并将其转换成适合用于模型训练的输入格式。具体来说，
它将原始的输入数据（如用户指令、用户输入、助手输出等）转换为模型所需的格式，
包括 input_ids、attention_mask 和 labels。
"""
def process_func(example, tokenizer=tokenizer_model):
    MAX_LENGTH = 256
    input_ids, attention_mask, labels = [], [], []
    instruction = tokenizer("\n".join(["Human: " + example["instruction"], example["input"]]).strip() +