论文 | Hard Prompts Made Easy: Gradient-Based Discrete Optimization for Prompt Tuning and Discovery

 

1. 研究背景与意义

硬提示和软提示是提示工程中的两种基本方式。硬提示由可解释的离散文本组成，便于人类理解和移植到不同的模型中；软提示则使用连续特征向量表示，可通过优化算法生成，但不易解释且移植性较差。在此背景下，论文提出了一种新方法，通过优化硬提示弥合软提示的高效性与硬提示的通用性之间的差距，旨在为语言模型（LM）和图像生成模型提供更强大、更灵活的提示生成能力。

2. 方法概述

论文介绍了一种基于梯度的离散优化方法（PEZ算法），结合连续特征表示来优化硬提示，具体流程如下：

• 输入准备：模型及词嵌入矩阵作为输入，并初始化一组可学习的嵌入。
• 优化过程：在每次前向传播后将连续特征投影到离散的词嵌入空间上，然后计算梯度并更新连续嵌入。
• 最终投影：将优化后的连续特征再次投影到离散词嵌入上，得到优化的硬提示。

该方法通过将软提示作为中间变量，利用梯度优化的优势来调整硬提示，并采用连续优化方法避免了传统离散优化中可能出现的不稳定性。

3. 实验与结果分析

论文在多种数据集上进行了实验，包括LAION、MS COCO、Celeb-A和Lexica.art，验证了该方法在文本和图像生成任务中的有效性。

• 图像生成：该方法使用CLIP模型生成图像描述，通过Stable Diffusion模型实现图像的风格迁移和场景生成。结果显示，相较于其他方法，该方法生成的提示在保留原图语义的同时也具备了多样性。
• 定量分析：与使用多词提示的CLIP询问器相比，该方法仅需少量词汇即可达到类似的语义相似度得分。
• 提示拼接：实验还显示硬提示可以组合用于生成复杂场景，通过拼接两个不同图像生成的提示，实现语义概念的融合。

4. 提示迁移和文本分类实验

在文本分类任务中，论文比较了PEZ算法生成的提示与其他基准方法（如AutoPrompt和FluentPrompt）的表现：

• 跨模型迁移：从GPT-2 Large生成的提示可以有效迁移到更大的模型上，并且在情感分类任务中取得了较高的准确率，展示了提示的通用性和跨模型的迁移能力。
• 少样本学习：在AGNEWS等少样本学习任务中，该方法也表现出较高的准确率，验证了其在低资源情况下的适用性。

5. 安全与道德考量

论文讨论了提示优化在内容生成中的安全隐患。优化后的提示可能绕过简单的内容过滤规则，如生成可能带有敏感内容的图像。此外，论文指出，尽管硬提示人类可读，但可能包含难以理解的符号或词汇，这在未来的实际应用中可能需要进一步处理。

6. 结论

论文提出了一种基于梯度的硬提示生成方法，有效地结合了软提示的高效性与硬提示的可移植性。尽管该方法取得了显著的实验效果，但作者也指出对语言模型嵌入空间的理解尚不完全，未来可能需要更深入的几何分析，以进一步提升提示优化的性能和稳定性。

这项研究在生成模型的提示工程中具有创新性意义，展示了硬提示优化在文本和图像生成中的广泛应用潜力，且为未来的研究提供了一个新的方向。