llm-universe学习小记录2--使用LLM API开发应用

使用LLM API开发应用

一、基本概念

1、Prompt

Prompt 最初是 NLP研究者为下游任务设计出来的一种任务专属的输入模板。在 ChatGPT 推出并获得大量应用之后，Prompt 开始被推广为给大模型的所有输入。

我们每一次访问大模型的输入为一个 Prompt，而大模型给我们的返回结果则被称为 Completion。例如，在下面示例中，我们给 ChatGPT 的提问 “NLP 中的 Prompt 指什么”是我们的提问，其实也就是我们此次的 Prompt；而 ChatGPT 的返回结果就是此次的 Completion。

后续课程都将会使用 Prompt 替代给 LLM 的输入，使用 Completion 替代 LLM 的输出。同时会结合具体案例，介绍如何设计 Prompt 能够充分发挥 LLM 的能力。

2、Temperature

由于LLM 的生成具有随机性，因此需要在模型的顶层通过选取不同预测概率的预测结果来生成最后的结果。一般通过控制 temperature 参数来控制 LLM 生成结果的随机性与创造性。

Temperature 一般取值在 0~1 之间，当取值较低接近 0 时，预测的随机性会较低，产生更保守、可预测的文本，不太可能生成意想不到或不寻常的词。当取值较高接近 1 时，预测的随机性会较高，所有词被选择的可能性更大，会产生更有创意、多样化的文本，更有可能生成不寻常或意想不到的词。

对于不同的问题与应用场景，我们可能需要设置不同的 temperature。例如，在本教程搭建的个人知识库助手项目中，我们一般将 temperature 设置为 0，从而保证助手对知识库内容的稳定使用，规避错误内容、模型幻觉；在产品智能客服、科研论文写作等场景中，我们同样更需要稳定性而不是创造性；但在个性化 AI、创意营销文案生成等场景中，我们就更需要创意性，从而更倾向于将 temperature 设置为较高的值。

3、System Prompt

System Prompt 是随着 ChatGPT API 开放并逐步得到大量使用的一个新兴概念，事实上，它并不在大模型本身训练中得到体现，而是大模型服务方为提升用户体验所设置的一种策略。

使用 ChatGPT API 时，你可以设置两种 Prompt：一种是 System Prompt，该种 Prompt 内容会在整个会话过程中持久地影响模型的回复，且相比于普通 Prompt 具有更高的重要性；另一种是 User Prompt，这更偏向于我们平时提到的 Prompt，即需要模型做出回复的输入。

我们一般设置 System Prompt 来对模型进行一些初始化设定，例如，我们可以在 System Prompt 中给模型设定我们希望它具备的人设如一个个人知识库助手等。System Prompt 一般在一个会话中仅有一个。在通过 System Prompt 设定好模型的人设或是初始设置后，我们可以通过 User Prompt 给出模型需要遵循的指令。例如，当我们需要一个幽默风趣的个人知识库助手，并向这个助手提问我今天有什么事时，可以构造如下的 Prompt：

通过如上 Prompt 的构造，我们可以让模型以幽默风趣的风格回答用户提出的问题。

二、使用 LLM API

主要介绍四种大语言模型（ChatGPTAPI、文心一言、讯飞星火、智谱 GLM）的 API 申请指引和 Python 版本的原生 API 调用方法，详见使用 LLM API。

三、Prompt Engineering

1、 Prompt Engineering 的意义

prompt（提示）就是用户与大模型交互输入的代称。即我们给大模型的输入称为 Prompt，而大模型返回的输出一般称为 Completion。

对于LLM来说，一个好的 Prompt 设计极大地决定了其能力的上限与下限。那么如何去设计 Prompt，以充分发挥 LLM 的性能？首先我们需要知道设计 Prompt 的原则。本节讨论了设计高效 Prompt 的两个关键原则：编写清晰、具体的指令和给予模型充足思考时间。

2、Prompt 设计的原则及使用技巧

Prompt 需要清晰明确地表达需求，提供充足上下文，使语言模型能够准确理解我们的意图。Prompt 并非必须短小简洁，过于简略的 Prompt 可能会使模型难以把握所要完成的具体任务，而更长、更复杂的 Prompt 能够提供更丰富的上下文和细节，让模型可以更准确地把握所需的操作和响应方式，给出更符合预期的回复。因此，需要尽可能用清晰、详尽的语言表达 Prompt。

具体示例及源代码详见Prompt Engineering

原则一：编写清晰、具体的指令

（1）使用分隔符清晰地表示输入的不同部分
在编写 Prompt 时，我们可以使用各种标点符号作为“分隔符”，将不同的文本部分区分开来。分隔符就像是 Prompt 中的墙，将不同的指令、上下文、输入隔开，避免意外的混淆。你可以选择用```, < >， ，: 等做分隔符，只要能明确起到隔断作用即可。
（2）寻求结构化的输出
有时候我们需要语言模型给我们一些结构化的输出，而不仅仅是连续的文本。什么是结构化输出呢？就是按照某种格式组织的内容，例如 JSON、HTML 等。这种输出非常适合在代码中进一步解析和处理，例如，您可以在 Python 中将其读入字典或列表中。
（3）要求模型检查是否满足条件
如果任务包含不一定能满足的假设（条件），我们可以告诉模型先检查这些假设，如果不满足，则会指 出并停止执行后续的完整流程。您还可以考虑可能出现的边缘情况及模型的应对，以避免意外的结果或 错误发生。
（4）提供少量示例
“Few-shot” prompting（少样本提示），即在要求模型执行实际任务之前，给模型提供一两个参考样例，让模型了解我们的要求和期望的输出样式。

利用少样本样例，我们可以轻松“预热”语言模型，让它为新的任务做好准备。这是一个让模型快速上手新任务的有效策略。

原则二：给模型时间去思考

在设计 Prompt 时，给予语言模型充足的推理时间非常重要。语言模型与人类一样，需要时间来思考并解决复杂问题。如果让语言模型匆忙给出结论，其结果很可能不准确。相反，我们应通过 Prompt 引导语言模型进行深入思考。可以要求其先列出对问题的各种看法，说明推理依据，然后再得出最终结论。在 Prompt 中添加逐步推理的要求，能让语言模型投入更多时间逻辑思维，输出结果也将更可靠准确。

从该原则出发，我们也提供几个设计 Prompt 的技巧：
（1）指定完成任务所需的步骤
（2）指导模型在下结论之前找出一个自己的解法
在设计 Prompt 时，我们还可以通过明确指导语言模型进行自主思考，来获得更好的效果。
举个例子，假设我们要语言模型判断一个数学问题的解答是否正确。仅仅提供问题和解答是不够的，语言模型可能会匆忙做出错误判断。相反，我们可以在 Prompt 中先要求语言模型自己尝试解决这个问题，思考出自己的解法，然后再与提供的解答进行对比，判断正确性。这种先让语言模型自主思考的方式，能帮助它更深入理解问题，做出 更准确的判断。

---

本文内容来自于Datawhale的llm-universe项目