AI大模型开发基础之提示词工程【翻译】

1.官方网址

https://platform.openai.com/docs/guides/prompt-engineering

2.正文

本指南分享了从GPT-4大语言模型获得更好结果的策略。这里描述的方法可以组合使用以获得更好的效果。我们鼓励通过实践找到最适合你的方法。这里演示的一些示例目前仅适用于gpt-4模型。

您还可以探索示例提示，展示我们的模型的能力：提示词样例

获得更好结果的六种策略：

1. 清晰的描述

大模型无法读懂你的想法。如果给出的结果太长，让它回复的更简短。如果结果太简单，让它给出专业的写法。如果您不喜欢这种格式，请示范您希望看到的格式。模型猜测你想要的东西越少，你得到的答案可能越精准。


策略

• 在查询中包含详细信息，以获取更相关的答案
  为了获得相似度更高的回复，请确保请求包含了所有重要的细节或上下文。否则你就把它留给大模型去猜你的意思了。

坏	好
如何在Excel中添加数字?	如何在Excel中添加一行美元金额?我想对整张表的行自动执行此操作，所有总计在右侧的“Total”列中结束。
总统是谁?	2021年的墨西哥总统是谁?选举多久举行一次?
编写代码来计算斐波那契数列	写一个TypeScript函数来有效地计算斐波那契数列。自由地注释代码，以解释每个部分的作用以及为什么这样写。
总结会议记录	用一段话总结会议记录。然后写一张演讲者每个关键点的清单。最后，列出演讲者建议的下一步或行动项目，如果有的话。

• 要求模型扮演一个角色
  系统消息可用于指定模型在其回复中扮演的角色。

系统	当我请求你帮忙写东西时，你会回复我一份文件，其中每一段至少包含一个笑话或有趣的评论。
用户	给我的螺栓供应商写一封感谢信，感谢他在短时间内及时交货。这使我们有可能交付一笔重要的订单。

• 使用分隔符明确地区分输入的不同部分
  分隔符，如三引号、XML标记、章节标题等，可以帮助区分文本的不同部分。

用户	用三引号分隔文本 “”“insert text here”“”

系统	您将获得关于同一主题的两篇文章(用XML标记分隔)。首先总结每篇文章的论点。然后指出哪一个论点更站得住脚并解释原因。
用户	<article>插入第一篇文章</article> <article>插入第二篇文章</article>

系统	你会收到论文摘要和建议标题。论文标题应该让读者对论文的主题有一个很好的了解，但也应该引人注目。如果标题不符合这些标准，建议5个备选方案。
用户	摘要:此处插入摘要 标题:在这里插入标题

对于诸如此类的简单任务，使用分隔符可能不会对输出质量产生影响。然而，任务越复杂，消除歧义就越重要。

• 指定完成任务所需的步骤
  有些任务最好指定为一系列步骤。显式地写出这些步骤可以使模型更容易遵循它们

系统	使用以下步骤响应用户输入。 步骤1 - 用户将向您提供用三引号括起来的文本。用一句话概括这篇文章，前面加个“Summary:”。 步骤2 - 将第一步的摘要翻译成西班牙语，加上“翻译”的前缀。
用户	“”“insert text here”“”

• 提供例子
  提供通用说明通常比示例演示更有效，但在某些情况下，提供示例可能更容易。例如，如果您打算让大模型复制用户查询的特定样式。

系统	用类似的方式回答问题
用户	什么是耐心？
助手	凿出山谷的河流，源自一池泉水;最华丽的交响乐，源自一个音符;最复杂的挂毯，源自一根丝线。
用户	什么是海洋？

• 指定所需的输出长度
  您可以要求大模型生成给定长度的输出。目标输出长度可以根据单词、句子、段落、项目符号等指定。但是请注意，指定模型生成特定数量的单词可能并不是很精准。但是可以更可靠地生成指定数量的段落或要点符号(bullet points)

用户	在50个单词内总结用三引号分隔的文本。 “”“insert text here”“”
用户	用两段话总结用三引号分隔的文本。 “”“insert text here”“”
用户	用3个要点总结用三引号分隔总结文本。 “”“insert text here”“”

2. 提供参考文本

语言模型可能产生幻读（错误的答案），特别是当被问及深奥的话题或引用url。就像笔记可以帮助学生在考试中取得更好的成绩一样，为这些模型提供参考文本可以在回答问题时减少捏造。

策略

• 指示模型使用参考文本回答问题
  如果我们可以为大模型提供与当前查询相关的可靠信息，那么我们可以指示模型使用提供的信息组成答案。

系统	用三引号分隔的文章回答问题。如果在文章中找不到答案，就回答“我找不到答案”
用户	<插入文章，每个文章用三引号分隔> 问题:<插入问题>

考虑到所有模型都有有限的上下文窗口，我们需要一些方法动态查找问题相关信息。向量可用来实现高效的知识检索。请参阅“使用基于向量的搜索来实现高效的知识检索”策略，了解如何实现这一点的更多细节

• 指示模型从参考文本中引用答案
  如果输入已经补充了相关知识，则可以直接请求大模型通过引用所提供文档中的段落来为其答案添加引用。注意，输出中的引文可以通过所提供文档中的字符串匹配以编程方式进行验证。

系统	您将得到一个用三引号分隔的文档和一个问题。你的任务是只使用所提供的文件回答问题，并引用用于回答问题的文件中的段落。如果文档不包含回答这个问题所需的信息，那么只需写:“信息不足”。如果提供了问题的答案，则必须用引文进行注释。使用以下格式引用相关段落({“citation”:…})。
用户	“”“<插入文件>”“” 问题: <插入问题>

3. 将复杂任务拆分为简单的子任务

将复杂系统分解成模块化组件是软件工程中的良好实践一样，提交给语言模型的任务也是如此。复杂任务往往比简单任务的错误率更高。此外，复杂任务通常可以重新定义为一组更简单工作流任务，其中早期任务的输出用于构造后续任务的输入。

策略:

• 通过目的分类识别与用户查询最相关的指令
  对于需要大量独立指令集处理不同情况的任务，首先对查询类型进行分类，并使用该分类确定哪些指令是有益的。可以通过定义固定类别和硬编码与处理给定类别的任务相关的指令来实现。还可以递归地应用此过程，将任务分解为一系列阶段。这种方法的优点是，每个查询将只包含执行任务下一阶段所需的指令，与使用单个查询执行整个任务相比，这可以降低错误率。也可以降低成本，因为运行大型提示的成本更高(参见定价信息)。

例如，假设对于客服应用程序，查询可以如下分类:

系统	您将获得客户服务查询。将每个查询划分为主要类别和次要类别。使用关键字: primary和secondary提供json格式输出。 主要类别:帐单、技术支持、帐户管理或一般查询。 计费二级类别: - 退订或升级 - 添加付款方式 - 收费解释 - 对收费提出异议 技术支持二级类别: - 故障排除 - 设备兼容性 - 软件更新 账户管理二级分类: - 密码重置 - 更新个人资料 - 结清帐户 - 帐户安全 一般查询次要类别: - 产品信息 - 定价 - 反馈 - 和人说话
用户	我得让我的网络恢复正常

根据客户查询分类，可以向大模型提供一组更具体的指令，以便处理接下来的步骤。例如，假设客户需要“故障排除”方面的帮助

系统	您将获得需要在技术支持上下文中进行故障排除的客户服务查询。帮助用户: - 请他们检查所有连接到/从路由器的电缆连接。请注意，随着时间的推移，电缆松动是很常见的。 - 如果所有电缆都连接上了，问题仍然存在，询问他们使用的是哪种路由器型号 - 现在你会建议他们如何重启他们的设备: – 如果型号为MTD-327J，建议按下红色按钮并保持5秒，然后等待5分钟后测试连接。 – 如果型号为MTD-327S，建议他们拔插，然后等待5分钟后再测试连接。 – 如果重启设备等待5分钟后问题仍然存在，请输出{“IT support requested”}联系IT支持。 - 如果用户开始询问与此主题无关的问题，然后确认他们是否希望结束当前关于故障排除的聊天，并根据以下方案对他们的请求进行分类: <从上面插入主/次分类方案>
用户	我得让我的网络恢复正常

• 对于需要很长对话的应用程序，总结或过滤以前的对话
  由于大模型具有固定的上下文长度，因此用户和助手间的对话(其中整个对话包含在上下文窗口中)不能无限期地继续下去。
  
  这个问题有多种解决方法，其中之一是总结之前的对话。一旦输入的大小达到预定的阈值长度，就会触发一个查询，该查询总结了对话的一部分，而之前对话的摘要可以作为系统消息的一部分包含进来。或者，可以在整个对话的后台异步总结先前的对话。另一种解决方案是动态选择与当前查询最相关的对话的先前部分。参见“使用基于嵌入的搜索实现高效的知识检索”策略。
  另一种解决方案是动态选择与当前查询最相关的先前对话部分。参见“使用基于向量的搜索实现高效的知识检索”策略。
  
• 分段总结长文档，并递归地构造完整的摘要
  由于大模型具有固定上下文长度，因此它们不能用于在单个查询中总结比上下文长度减去生成的摘要长度长的文本。
  为了总结一个很长的文档，比如一本书，我们可以使用查询序列总结文档的每部分。章节摘要可以串联和汇总，生成摘要的摘要。这个过程可以递归进行，直到总结出整个文档。如果有必要使用前面章节的信息理解后面的章节，那么另一个有用的技巧是在书中任何给定点之前包含文本的运行摘要，同时总结该点的内容。

4.给模型时间去“思考”

如果让你用17乘以28，你可能不会马上知道，但还是可以花时间算出来。同样，当试图立即回答问题时，模型会犯更多的推理错误，而不是花时间找出答案。在回答问题之前使用“思维链”方式可以帮助模型更精准地推理出正确答案。

策略:

• 在匆忙得出结论前，让模型自己找出解决方案
  有时，当我们明确地指示模型在得出结论之前从第一原则进行推理时，我们会得到更好的结果。例如，假设我们需要一个模型来评估学生对数学问题的解决方案。最明显的解决方法就是询问大模型：学生的解决方案是否正确。

系统	判断学生的答案是否正确
用户	问题陈述: 我正在建造一个太阳能装置，我需要帮助来解决财务问题。 - 土地成本为每平方英尺100美元 - 我能以每平方英尺250美元的价格买到太阳能电池板 - 我谈了一份维护合同，每年要花我10万美元，每平方英尺还要额外花10美元 第一年运营的总成本是多少作为平方英尺数的函数? 学生解答:设x为装置面积，单位为平方英尺。 1. 土地成本:100倍 2. 太阳能电池板成本:250倍 3. 维护费用:10万+ 100倍 总成本:100x + 250x + 100000 + 100x = 450x + 100000
助手	这个学生的答案是正确的。

但是这个学生的答案其实是不正确的! 我们可以通过提示模型首先生成自己的解决方案来让模型成功地注意到这一点

系统	首先想出你自己解决这个问题的办法。然后将你的解决方案与学生的解决方案进行比较，并评估学生的解决方案是否正确。在你自己做了这道题之前，不要判断这个学生的答案是否正确。
用户	问题陈述: 我正在建造一个太阳能装置，我需要帮助来解决财务问题。 - 土地成本为每平方英尺100美元 - 我能以每平方英尺250美元的价格买到太阳能电池板 - 我谈了一份维护合同，每年要花我10万美元，每平方英尺还要额外花10美元 第一年运营的总成本是多少作为平方英尺数的函数? 学生解答:设x为装置面积，单位为平方英尺。 1. 土地成本:100倍 2. 太阳能电池板成本:250倍 3. 维护费用:10万+ 100倍 总成本:100x + 250x + 100000 + 100x = 450x + 100000
助手	设x为装置面积，单位为平方英尺。 1. 土地成本:100倍 2. 太阳能电池板成本:250倍 3. 维护费用:10万+ 10倍 总成本:100x + 250x + 100000 + 10x = 360x + 100000 这个学生的答案不正确。他们在维修成本计算中犯了一个错误，用100倍代替10倍。第一年运营的正确总成本是360x + 100,000。

• 使用内心独白或查询序列隐藏模型的推理过程
  前面的策略表明，在回答特定问题之前，大模型有时对问题进行详细推理是很重要的。对于某些应用程序，大模型用于得出最终答案的推理过程可能不适合与用户共享。例如，在辅导应用程序中，我们可能希望鼓励学生自己找出答案，但大模型对学生解决方案的推理过程可能会向学生揭示答案。
  内心独白是一种可以用来缓解这种情况的策略。内心独白的思想是指示大模型将对用户隐藏的部分输出放入结构化格式中，以便于解析它们。然后，在将输出呈现给用户之前，对输出进行解析，只显示部分输出。

系统	按照以下步骤回答用户查询。 第一步 - 首先找出你自己解决问题的方法。不要依赖学生的答案，因为它可能是错误的。将此步骤的所有工作用三引号(“”“)括起来。 第二步 - 将你的解决方案与学生的解决方案进行比较，并评估学生的解决方案是否正确。将此步骤的所有工作用三引号(”“”)括起来。 第三步 - 如果学生犯了一个错误，确定你可以给学生什么提示而不泄露答案。将此步骤的所有工作用三引号(“”")括起来。 第四步 - 如果学生犯了错误，给学生提供上一步的提示(在三引号之外)。不要写“步骤4 -…”，而要写“提示:”。
用户	问题语句:<插入问题语句> 学生方案:<插入学生方案>

或者，可以通过一系列查询实现，其中除了最后一个查询外，所有查询输出都对最终用户隐藏
首先，我们可以让模型自己解决问题。由于这个初始查询不需要学生的解决方案，因此可以省略它。这提供了额外的优势，即模型的解决方案不会受到学生尝试的解决方案的影响。

用户	<插入问题陈述>

接下来，我们可以让大模型使用所有可用的信息评估学生解决方案的正确性

系统	将你的解决方案与学生的解决方案进行比较，并评估学生的解决方案是否正确。
用户	问题语句:“”“<插入问题语句>”“ 您的解决方案:”“”<插入模型生成解决方案>“”“” 学生解答:“”“<插入学生解答>”“”

最后，我们可以让模型使用它自己的分析来构建一个有帮助的导师角色的回复。

系统	你是数学家教。如果学生犯了一个错误，给学生一个提示，但不透露答案。如果学生没有犯错误，简单地给他们一个鼓励的评论。
用户	问题语句:“”“<插入问题语句>”“ 您的解决方案:”“”<插入模型生成解决方案>“”“ 学生解答:”“”<插入学生解答>“”“ 分析:”“”<插入前一步生成的模型分析>“”"

• 询问模型在之前的传递中是否遗漏了任何内容
  假设我们正在使用一个模型列出与特定问题相关的来源摘录。在列出每个摘录之后，模型需要确定是应该开始编写另一个还是应该停止。如果源文档很大，那么模型通常会过早停止并且不能列出所有相关的摘录。在这种情况下，通常可以通过使用后续查询提示模型查找它在前一遍中错过的任何摘录来获得更好的性能。

系统	您将得到一个用三引号分隔的文档。你的任务是选择与以下问题相关的摘要:“人工智能历史上发生了哪些重大的范式转变?” 确保节选内容包含解释它们所需的所有相关上下文。换句话说，不要提取缺少重要上下文的小片段。提供如下JSON格式的输出: [{“摘录”:“……"}, … {“摘录”:“……“})
用户	“”“<插入文件>”“”
助手	[{“摘录”:“模型在这里写入摘录”}， … {“摘录”:“模型在这里写入另一个摘录”}]
用户	是否有更多相关的摘录?注意不要重复摘录。还要确保节选包含解释它们所需的所有相关上下文。换句话说，不要提取缺少重要上下文的小片段。

思维链：
它是偶然被发现的，有人在提问时以「让我们一步一步思考」开头，结果发现 AI 会把问题分解成多个步骤，然后逐步解决，使得输出的结果更加准确。
思维链的原理：
让 AI 生成更多相关的内容，构成更丰富的「上文」，从而提升「下文」正确的概率；对涉及计算和逻辑推理等复杂问题，尤为有效

5. 使用外部工具

通过向模型提供其他工具的输出弥补模型的弱点。例如，文本检索系统(有时称为RAG或检索增强生成)可以告诉模型有关文档的信息。像OpenAI的代码解释器这样的代码执行引擎可以帮助模型进行数学运算和运行代码。

策略:

• 使用基于向量的搜索实现高效检索
  如果作为输入的一部分提供，模型可以利用外部信息源。这可以帮助模型产生更多信息和最新的响应。例如，如果用户询问关于特定电影的问题，那么在模型的输入中添加关于电影的高质量信息(例如演员、导演等)可能会很有用。向量可以实现高效的知识检索，以便在运行时动态向模型输入中添加相关信息。
  文本向量是一个向量，可以测量文本字符串之间的相关性。相似或相关的字符串会比不相关的字符串靠得更近。这一事实，以及快速向量搜索算法的存在意味着嵌入可以用来实现高效的知识检索。特别是，文本语料库可以被分割成块，并且每个块都可以嵌入和存储。然后，可以嵌入给定的查询，并执行向量搜索，从语料库中找到与查询最相关的嵌入文本块(即在嵌入空间中最接近)。
  示例实现可以在OpenAI Cookbook中找到。请参阅“指示模型使用检索到的知识回答查询”策略，以获取如何使用知识检索来最小化模型生成错误事实的可能性的示例。
  
  
• 使用代码执行更精确的计算或调用外部api
  语言模型不能依靠自己精确执行算术或长时间的计算。在需要这样做的情况下，可以指示模型编写和运行代码，而不是自己进行计算。特别是，可以指示模型将要运行的代码放入指定的格式(如三重反勾)中。产生输出后，可以提取并运行代码。最后，如果有必要，代码执行引擎(即Python解释器)的输出可以作为下一个查询的模型输入。

系统	您可以通过将Python代码封装在三个反引号中编写和执行。‘’‘代码写在这里’‘’。使用它执行计算。
用户	求下列多项式的所有实值根:3x**5 - 5x4 - 3*x3 - 7*x - 10。

代码执行的另一个好处是调用外部api。如果一个大模型被告知如何正确使用API，它就可以编写使用API的代码。通过向大模型提供文档和/或代码示例来说明如何使用API，可以指导大模型如何使用API。

系统	你可以通过用三个反引号括起来编写和执行Python代码。另外请注意，您可以访问以下模块帮助用户向他们的朋友发送消息: ```python import message message.write(to=“John”, message=“Hey, want to meetup after work?”))’ ’ ’

警告:执行由大模型生成的代码本身并不安全，在任何试图执行此操作的应用程序都应采取预防措施。特别是，需要一个沙盒代码执行环境限制不受信任的代码可能造成的危害。

• 赋予模型访问特定功能的权限
  Chat Completions API允许在请求中传递函数描述列表。这使模型能够根据提供的模式生成函数参数。生成的函数参数由API以JSON格式返回，可用于执行函数调用。然后，可以将函数调用提供的输出反馈到以下请求的模型中，以关闭循环。这是使用OpenAI模型调用外部函数的推荐方法。要了解更多信息，请参阅指南中的函数调用部分，以及OpenAI Cookbook中的更多函数调用示例。

6.系统性测试变化

如果你能验证测试结果，提高性能就很容易。在某些情况下，修改提示词在少数孤立的示例上获得更好的性能，但在更具代表性的示例集上导致更差的整体性能。因此，为了确保更改对性能是完全积极的，可能有必要定义一个全面的测试套件(也称为“eval”)。
有时很难判断变化。例如，一个新的指令或一个新的设计，是否使你的系统变得更好或更坏。看几个例子就能知道哪个更好，但由于样本量小，很难区分真正的改进还是随机的运气。也许这种变化有助于某些输入的性能，但会损害其他输入的性能。

评估程序(或“评估”)对于优化系统设计非常有用。好的评价是:

• 代表真实世界的用法(或者至少多样化)
• 包含许多测试用例以获得更大的统计能力(参见下表的指导方针)
• 易于自动化或重复
  
  输出评估可以由计算机、人工或混合完成。计算机可以根据客观标准(例如，只有一个正确答案的问题)以及一些主观或模糊标准进行自动评估，其中模型输出由其他模型查询进行评估。OpenAI评估是一个开源软件框架，提供了创建自动化评估的工具。
  当存在一系列被认为高质量的可能性输出时(例如，对于具有长答案的问题)，基于大模型的评估可能是有用的。通过基于大模型的评估可以实际评估的内容与需要人工评估的内容之间的界限是模糊的，并且随着模型变得更有能力而不断变化。我们鼓励通过实验弄清楚基于大模型的评估对您的用例是否有效。

策略:

• 参照标准答案评估模型输出
  假设已知一个问题的正确答案应该参考一组特定的已知事实。然后，我们可以使用一个大模型查询计算答案中包含了多少必需的事实。
  例如

系统	您将获得由三引号分隔的文本，这应该是问题的答案。检查以下信息是否直接包含在答案中: 尼尔·阿姆斯特朗是第一个在月球上行走的人。 尼尔·阿姆斯特朗首次在月球上行走的日期是1969年7月21日。 对于这些点，执行以下步骤: 1 - 重申要点。 2 - 从最接近这一点的答案中提供一个引用。 3 - 考虑一下那些不知道主题的人是否可以直接推断出要点。在做决定之前，先解释为什么或者为什么不。 4 - 如果3的答案是“是”，写“是”，否则写“否”。 最后，提供有多少个“是”的答案。将此计数提供为{“count”: <insert count here>}。

下面是两点都满足的输入示例:

系统	<插入系统消息>
用户	””“尼尔·阿姆斯特朗是第一个踏上月球的人而闻名。这一历史性事件发生在1969年7月21日，阿波罗11号执行任务期间。””“

下面是只满足一点的输入示例:

系统	<插入系统消息>
用户	””“尼尔·阿姆斯特朗走出登月舱，成为第一个在月球上行走的人，创造了历史。”“

下面是没有一点满足的示例输入:

系统	<插入系统消息>
用户	“”" 1969年夏天，一次盛大的航行，阿波罗11号。阿姆斯特朗迈出了一步，历史就此展开，“一小步，”他说，“迈向一个新世界。””“

这种基于模型的eval有许多可能的变体。考虑下面的变体，它跟踪候选答案和标准答案间的重叠，并跟踪候选答案是否与标准答案的任何部分相矛盾。

系统	使用以下步骤响应用户输入。在继续之前，要充分重申每一步。即。“第一步:推理……” 第一步:一步步地推理提交的答案与专家答案相比是否：不相交，相等，是子集，超集，还是重叠(即一些相交但不是子集/超集)。 第二步:逐步推理提交的答案是否与专家答案的任何方面相矛盾。 第三步:输出一个JSON对象，结构如下:{“重叠类型”: “不相交"或"相等"或"子集"或"超集"或"重叠”， “矛盾”:true或false}

以下是一个不合格答案的示例，但与专家答案并不矛盾:

系统	<插入系统消息>
用户	问题:尼尔·阿姆斯特朗最著名的事件是什么?它发生在哪一天?假设是UTC时间。””“ 提交的答案:“”“他不是在月球上行走吗?””“ 专家回答:尼尔·阿姆斯特朗最著名的是他是第一个在月球上行走的人。这一历史性事件发生在1969年7月21日。””“

下面是一个与专家答案直接矛盾的输入示例

系统	<插入系统消息>
用户	问题:尼尔·阿姆斯特朗最著名的事件是什么?它发生在哪一天?假设是UTC时间。””“ 1969年7月21日，尼尔·阿姆斯特朗成为继巴兹·奥尔德林之后第二个在月球上行走的人。”“ 专家回答:尼尔·阿姆斯特朗最著名的是他是第一个在月球上行走的人。这一历史性事件发生在1969年7月21日。””“

以下是一个包含正确答案，但也提供了一些不必要的细节示例:

系统	<插入系统消息>
用户	问题:尼尔·阿姆斯特朗最著名的事件是什么?它发生在哪一天?假设是UTC时间。””“ 1969年7月21日，大约在世界标准时间2点56分，尼尔·阿姆斯特朗成为第一个踏上月球表面的人，这标志着人类历史上的一项巨大成就。”“ 专家回答:尼尔·阿姆斯特朗最著名的是他是第一个在月球上行走的人。这一历史性事件发生在1969年7月21日。””“