神经网络微调技术全解（05）-- Learnable Prompts vs Prefix Tuning

Learnable Prompts 和 Prefix Tuning 的确非常相似，都是基于可训练的提示向量来引导模型完成特定任务的微调技术。然而，它们在概念和实现细节上存在一些差异。以下是对两者的详细区分：

1. Learnable Prompts（可训练提示）

概念：

• Learnable Prompts 是一种通过优化可训练的离散或连续提示向量来引导模型生成输出的微调技术。提示的形式可以是文本的嵌入向量或直接在输入中插入的虚拟token（实际是可训练的嵌入）。

实现方式：

• 可训练提示向量可以是几个独立的token或嵌入，通常会被直接添加到输入序列的前后或其他合适的位置。

• 这些提示向量在整个训练过程中不断更新，目的是让模型更好地理解任务的要求，从而在特定任务上表现更好。

使用场景：

• Learnable Prompts 通常应用于各种自然语言处理任务中，通过调整少量参数（提示向量），无需修改大规模预训练模型的核心参数。

关键点