LLM连续提示可以看作是多个离散提示的组合

LLM连续提示可以看作是多个离散提示的组合

一、研究背景：连续提示的“黑箱”困境

1. 连续提示的优势：在聊天机器人、文本分类等NLP任务中，连续提示（一种数值向量）能让预训练模型（如BERT）表现更好，但它像“黑箱”一样难以解释。
2. 离散提示的局限：离散提示（如“这篇评论是[情感词]”中的“情感词”）容易理解，但性能不如连续提示，且跨模型迁移困难。

二、核心观点：连续提示=离散提示的“加权拼图”

1. 组合假设：作者认为，连续提示本质上是多个离散提示的加权组合。例如，一个用于情感分类的连续提示，可能由**“剧情”“糟糕”“看起来”等离散词按不同权重**组合而成。

2. 数学解释：连续提示可视为去掉“只能选一个词”限制的离散提示表。就像用不同颜色的颜料调和出一种新颜色，离散提示通过权重叠加形成连续提示。

三、如何验证？——让离散提示“模拟”连续提示

1. 优化目标：设计一个框架，同时满足两个条件：