如何写好prompt以及评测prompt的好坏

引言

       在编写Prompt时，目标是明确、具体地指引AI生成符合期望的输出。以下是一些编写和改进Prompt的经验：

Prompt书写经验

       明确性： 确保你的Prompt清晰、具体。模糊或广泛的描述可能导致不一致的输出。同时尽量避免否定句法。

       上下文： 提供足够的背景信息以帮助AI理解你想要的结果。示例：如果在写小说角色介绍，说明角色的年龄、背景和主要冲突。

       结构化： 使用简单的句子和逻辑结构传达要求。

示例： 对于复杂任务，可以将要求分成几个步骤列出。通过few shot的方式，让大模型加深我们对于任务目标的理解，同时，告诉大模型我们的期望输出样式是什么样子的。

       限制与要求： 定义输出的限制或格式，比如字数、风格、语言等。比如限定为json输出、list输出等。

prompt评价标准

       一致性： 在采用对应的prompt多次调用后，输出是否保持一致性。

       相关性： 出的内容是否与我们在prompt里提供的上下文背景等内容相关。

       完整性： 输出是否回答完整，是否出现断句，没有回复全的情况。

       预期性： 大模型的输出是否符合我们的预期。

改进Prompt的方法

       观察输出： 查看大模型生成的文本，判断偏离预期的地方。策略： 增加或修改Prompt中的细节和背景信息以减少偏差。

       拆分任务： 如果任务复杂，将其分解为多个简单任务，并采用多个Prompt解决。策略：例如，先生成大纲，然后根据大纲生成具体内容。

       测试与迭代： 鼓励多次实验，尝试不同的措辞和格式。策略：记录不同版本的Prompt及其对应结果，以便比较、优化。