大模型提示工程 | 17 种 prompt engineering 方法大集合（一）Zero-shot 、Few-shot、链式思考、自我一致性、生成知识

本文链接：https://blog.csdn.net/m0_56255097/article/details/143865341

一、Zero-shot prompt

1.介绍

Zero-shot prompt 是一种无需提供示例或训练数据，直接利用自然语言描述任务或问题，让模型生成相应回答的技术方法。

2.示例

# prompt
将文本分类为中性、负面或正面。
文本：我认为这件事也太好了！
情感：

# output
正面

3.相关论文：

FINETUNED LANGUAGE MODELS ARE ZERO-SHOTLEARNERS （https://arxiv.org/pdf/2109.01652）

二、Few-shot prompt

1.介绍

Few-shot prompt 是一种通过提供少量示例来引导模型生成回答的技术，能在一定程度上提升模型的表现和适应性。

2.示例

# prompt
这太棒了！// Negative
这太糟糕了！// Positive
哇，那部电影太棒了！// Positive
多么可怕的节目！//

# output
Negative

3.相关论文

（1）LLaMA: Open and Efficient Foundation Language Models（https://arxiv.org/pdf/2302.13971）
（2）Language Models are Few-Shot Learners（https://arxiv.org/abs/2005.14165）
（3）Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?（https://arxiv.org/abs/2202.12837）

三、链式思考（COT）prompt

1.介绍

链式思考（COT）prompt 是一种引导模型进行逐步推理和连续思考，以生成更深入、准确答案的提示方法。

2.示例

# prompt
我去市场买了10个苹果。我给了邻居2个苹果和修理工2个苹果。然后我去买了5个苹果并吃了1个。我还剩下多少苹果？
让我们逐步思考。

# output
首先，您从10个苹果开始。
您给了邻居和修理工各2个苹果，所以您还剩下6个苹果。
然后您买了5个苹果，所以现在您有11个苹果。
最后，您吃了1个苹果，所以您还剩下10个苹果。

3.自动思维链 Auto-CoT

Auto-CoT对具有多样性的问题进行采样，并生成推理链来构建演示。主要包含两个阶段：

（1）问题聚类： 将给定问题划分为几个聚类
（2）演示抽样： 从每组数组中选择一个具有代表性的问题，并使用带有简单启发式的 Zero-Shot-CoT 生成其推理链。

4.相关论文

（1）Chain-of-Thought Prompting Elicits Reasoning in Large Language Models（https://arxiv.org/abs/2201.11903）
（2）Large Language Models are Zero-Shot Reasoners（https://arxiv.org/abs/2205.11916）
（3）Automatic Chain of Thought Prompting in Large Language Models（https://arxiv.org/abs/2210.03493）

四、自我一致性

1.介绍

自我一致性旨在“替换链式思维提示中使用的天真贪婪解码方法”。其想法是通过少样本 CoT 采样多个不同的推理路径，并使用生成结果选择最一致的答案。有助于提高 CoT 提示在涉及算术和常识推理的任务中的性能。

2.示例

# prompt
Q：林中有15棵树。林业工人今天将在林中种树。完成后，将有21棵树。林业工人今天种了多少棵树？
A：我们从15棵树开始。后来我们有21棵树。差异必须是他们种树的数量。因此，他们必须种了21-15 = 6棵树。答案是6。
Q：停车场有3辆汽车，又来了2辆汽车，停车场有多少辆汽车？
A：停车场已经有3辆汽车。又来了2辆。现在有3 + 2 = 5辆汽车。答案是5。
Q：Leah有32块巧克力，她的姐姐有42块。如果他们吃了35块，他们总共还剩多少块？
A：Leah有32块巧克力，Leah的姐姐有42块。这意味着最初有32 + 42 = 74块巧克力。已经吃了35块。因此，他们总共还剩74-35 = 39块巧克力。答案是39。
Q：Jason有20个棒棒糖。他给Denny一些棒棒糖。现在Jason只有12个棒棒糖。Jason给Denny多少棒棒糖？
A：Jason有20个棒棒糖。因为他现在只有12个，所以他必须把剩下的给Denny。他给Denny的棒棒糖数量必须是20-12 = 8个棒棒糖。答案是8。
Q：Shawn有五个玩具。圣诞节，他从他的父母那里得到了两个玩具。他现在有多少个玩具？
A：他有5个玩具。他从妈妈那里得到了2个，所以在那之后他有5 + 2 = 7个玩具。然后他从爸爸那里得到了2个，所以总共他有7 + 2 = 9个玩具。答案是9。
Q：服务器房间里有9台计算机。从周一到周四，每天都会安装5台计算机。现在服务器房间里有多少台计算机？
A：从周一到周四有4天。每天都添加了5台计算机。这意味着总共添加了4 * 5 =
20台计算机。一开始有9台计算机，所以现在有9 + 20 = 29台计算机。答案是29。
Q：Michael有58个高尔夫球。星期二，他丢失了23个高尔夫球。星期三，他又丢失了2个。星期三结束时他还剩多少个高尔夫球？
A：Michael最初有58个球。星期二他丢失了23个，所以在那之后他有58-23 = 35个球。星期三他又丢失了2个，所以现在他有35-2 = 33个球。答案是33。
Q：Olivia有23美元。她用每个3美元的价格买了五个百吉饼。她还剩多少钱？
A：她用每个3美元的价格买了5个百吉饼。这意味着她花了15美元。她还剩8美元。
Q：当我6岁时，我的妹妹是我的一半年龄。现在我70岁了，我的妹妹多大？
A：

# output1
当我6岁时，我的妹妹是我的一半年龄，也就是3岁。现在我70岁了，所以她是70-3 = 67岁。答案是67。
# output2
当叙述者6岁时，他的妹妹是他年龄的一半，也就是3岁。现在叙述者70岁了，他的妹妹应该是70-3 = 67岁。答案是67。
# output3
当我6岁时，我的妹妹是我的一半年龄，也就是3岁。现在我70岁了，所以她是70/2 = 35岁。答案是35。

# 后处理
找出推理路径并通过选择最终答案集中最一致的答案进行聚合。

3.相关论文

SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHTREASONING IN LANGUAGE MODELS（https://arxiv.org/pdf/2203.11171）

五、生成知识prompt

1.介绍

生成知识prompt是指先从语言模型中生成知识，然后在回答问题时作为额外的知识进行提供。

2.示例

# 生成知识
输入：希腊比墨西哥大。
知识：希腊的面积约为131,957平方公里，而墨西哥的面积约为1,964,375平方公里，使墨西哥比希腊大了1,389%。
输入：眼镜总是会起雾。
知识：当你的汗水、呼吸和周围的湿度中的水蒸气落在冷的表面上，冷却并变成微小的液滴时，会在眼镜镜片上产生冷凝。你看到的是一层薄膜。你的镜片相对于你的呼吸会比较凉，尤其是当外面的空气很冷时。
输入：鱼有思考能力。
知识：鱼比它们看起来更聪明。在许多领域，如记忆力，它们的认知能力与或超过非人类灵长类动物等“更高级”的脊椎动物。鱼的长期记忆帮助它们跟踪复杂的社交关系。
输入：一个人一生中吸烟很多香烟的常见影响是患肺癌的几率高于正常水平。
知识：那些一生中平均每天吸烟不到一支香烟的人，患肺癌的风险是从不吸烟者的9倍。在每天吸烟1到10支香烟之间的人群中，死于肺癌的风险几乎是从不吸烟者的12倍。
输入：一块石头和一颗卵石大小相同。
知识：卵石是一种根据Udden-Wentworth沉积学尺度的颗粒大小为4到64毫米的岩屑。卵石通常被认为比颗粒（直径2到4毫米）大，比卵石（直径64到256毫米）小。
输入：高尔夫球的一部分是试图获得比其他人更高的得分。
知识：

# 知识
高尔夫球的目标是以最少的杆数打完一组洞。一轮高尔夫球比赛通常包括18个洞。每个洞在标准高尔夫球场上一轮只打一次。每个杆计为一分，总杆数用于确定比赛的获胜者。

# 将知识整合并得出预测。将问题重新格式化为 QA 格式，以指导答案格式。
问题：高尔夫球的一部分是试图获得比其他人更高的得分。是或否？
知识：高尔夫球的目标是以最少的杆数打完一组洞。一轮高尔夫球比赛通常包括18个洞。每个洞在标准高尔夫球场上一轮只打一次。每个杆计为一分，总杆数用于确定比赛的获胜者。
解释和答案： 

# 答案
不是，高尔夫球的目标不是获得比其他人更高的得分。相反，目标是以最少的杆数打完一组洞。总杆数用于确定比赛的获胜者，而不是总得分。

3.相关论文

Generated Knowledge Prompting for Commonsense Reasoning（https://arxiv.org/pdf/2110.08387）