大模型微调---Prompt-tuning微调

一、前言

Prompt-tuning通过修改输入文本的提示（Prompt）来引导模型生成符合特定任务或情境的输出，而无需对模型的全量参数进行微调。

Prompt-Tuning 高效微调只会训练新增的Prompt的表示层，模型的其余参数全部固定，其核心在于将下游任务转化为预训练任务

新增的 Prompt 内容可以分为 Hard Prompt 和 Soft Prompt 两类：

• Soft prompt 通常指的是一种较为宽泛或模糊的提示，允许模型在生成结果时有更大的自由度，通常用于启发模型进行创造性的生成；
• Hard prompt 是一种更为具体和明确的提示，要求模型按照给定的信息生成精确的结果，通常用于需要模型提供准确答案的任务；

Soft Prompt 在 peft 中一般是随机初始化prompt的文本内容，而 Hard prompt 则一般需要设置具体的提示文本内容；

对于不同任务的Prompt的构建示例如下：

例如，假设我们有兴趣将英语句子翻译成德语。我们可以通过各种不同的方式询问模型，如下图所示。

1)“Translate the English sentence ‘{english_sentence}’ into German: {german_translation}”
2)“English: ‘{english sentence}’ | German: {german translation}”
3)“From English to German:‘{english_sentence}’-> {german_translation}”

上面说明的这个概念被称为硬提示调整

软提示调整（soft prompt tuning）将输入标记的嵌入与可训练张量连接起来，该张量可以通过反向传播进行优化，以提高目标任务的建模性能。

例如下方伪代码：

# 定义可训练的软提示参数
# 假设我们有 num_tokens 个软提示 token，每个 token 的维度为 embed_dim
soft_prompt = torch.nn.Parameter(
    torch.rand(num_tokens, embed_dim)  # 随机初始化软提示向量
)

# 定义一个函数，用于将软提示与原始输入拼接
def input_with_softprompt(x, soft_prompt):
    # 假设 x 的维度为 (batch_size, seq_len, embed_dim)
    # soft_prompt 的维度为 (num_tokens, embed_dim)
    # 将 soft_prompt 在序列维度上与 x 拼接
    # 拼接后的张量维度为 (batch_size, num_tokens + seq_len, embed_dim)
    x = concatenate([soft_prompt, x], dim=seq_len)
    return x

# 将包含软提示的输入传入模型
output = model(input_with_softprompt(x, soft_prompt))

1. 软提示参数：

使用 torch.nn.Parameter 将随机初始化的向量注册为可训练参数。这意味着在训练过程中，soft_prompt 中的参数会随梯度更新而优化。

2. 拼接输入：

函数 input_with_softprompt 接收原始输入 x（通常是嵌入后的 token 序列）和 soft_prompt 张量。通过 concatenate（伪代码中使用此函数代指张量拼接操作），将软提示向量沿着序列长度维度与输入拼接在一起。

3. 传递给模型：

将包含软提示的输入张量传给模型，以引导模型在执行特定任务（如分类、生成、QA 等）时更好地利用这些可训练的软提示向量。

二、Prompt-tuning实战

预训练模型与分词模型——Qwen/Qwen2.5-0.5B-Instruct
数据集——lyuricky/alpaca_data_zh_51k

2.1、下载模型到本地

# 下载数据集
dataset_file = load_dataset("lyuricky/alpaca_data_zh_51k", split="train", cache_dir="./data/alpaca_data")
ds = load_dataset("./data/alpaca_data", split="train")

# 下载分词模型
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
# Save the tokenizer to a local directory
tokenizer.save_pretrained("./local_tokenizer_model")

#下载与训练模型
model = AutoModelForCausalLM.from_pretrained(
    pretrained_model_name_or_path="Qwen/Qwen2.5-0.5B-Instruct",  # 下载模型的路径
    torch_dtype="auto",
    low_cpu_mem_usage=True,
    cache_dir="./local_model_cache"  # 指定本地缓存目录
)

2.2、加载模型与数据集

#加载分词模型
tokenizer_model = AutoTokenizer.from_pretrained("../local_tokenizer_model")

# 加载数据集
ds = load_dataset("../data/alpaca_data", split="train[:10%]")

# 记载模型
model = AutoModelForCausalLM.from_pretrained(
    pretrained_model_name_or_path="../local_llm_model/models--Qwen--Qwen2.5-0.5B-Instruct/snapshots/7a