这篇博客探讨了提示（prompt）工程的高级概念，包括零样本和少样本提示的原理与限制，链式思考提示、自一致性、生成知识提示以及自动提示工程师（APE）。通过示例展示了如何利用这些技术改善模型的性能，尤其是在处理复杂任务和推理问题时。文章还提到了一些最新研究，如零样本CoT和自一致性技术，以及如何通过自动提示工程来优化提示的生成和选择。
到此为止，已经很明显完善提示有助于在不同任务上获得更好的结果。这就是提示工程的整体理念。
尽管那些例子很有趣，但在我们进入更高级的概念之前，让我们正式介绍一些概念。
完整的中文版本指南和更丰富的参考资料在 Github 和 Gitee 中，自动持续翻译更新：
🐙 关于提示词工程（prompt）的指南、论文、讲座、笔记本和资源大全
主题：
零样本提示
今天训练有大量数据和调整能够遵循指示的LLMs可以执行零样本任务。我们在前面的部分尝试了一些零样本示例。这是我们使用的示例之一：
提示：
将文本分类为中性，负面或积极。
文本：我认为假期还好。
情感：
输出：
中性
请注意，在上面的提示中，我们没有为模型提供任何示例-这就是零样本能力的工作方式。当零样本无法让模型正常工作时，建议在提示中提供演示或示例。接下来，我们将讨论称为少样本提示的方法。
少样本提示
虽然大型语言模型已经展示了出色的零样本能力，但在使用零样本设置时，在更复杂的任务上仍然存在不足。为了改善这种情况，使用少样本提示作为一种技术来启用上下文学习，在提示中提供演示以引导模型实现更好的性能。演示作为随后生成响应的示例的调节条件。
让我们通过Brown et al. 2020提出的示例演示少量提示。在这个示例中，任务是在句子中正确使用一个新单词。
提示：
格式：仅返回翻译内容，不包括原始文本。一个“乌哈普”是一种生长在坦桑尼亚的小型毛茸茸的动物。使用该词的句子示例是:
我们在非洲旅行时看见了这些非常可爱的乌哈普。
“扑啦弗”是指快速地跳上跳下。使用该词的句子示例是：
Output:
当我们赢得游戏时，我们所有人都开始欢呼跳跃。
我们可以观察到该模型通过提供一个示例即可执行任务。对于更困难的任务，我们可以尝试增加示范次数（例如，3次示范、5次示范、10次示范等）。
根据Min et al. (2022)的研究结果，这里有一些关于执行小样本任务的示范/样例的建议：
- “标签空间和演示文本指定的输入分布都很重要（无论标签是否适用于单个输入）”
- 即使您只是使用随机标签，所使用的格式也对性能起重要作用，这比根本不使用标签要好得多。
- 额外的结果表明，从真实标签分布而不是统一分布中选择随机标签也有帮
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
