【膳逸】My Journey Learning Prompt Engineering: A Beginner‘s Report

        此次项目实训，我在团队中的角色定位是模型开发，那么前期我先是进行了关于prompt的学习。这篇博客中，我将详细分享我在学习提示工程过程中的具体经历、所面临的技术挑战，以及我如何逐步克服这些问题。

初识Prompt

        Prompt是指为语言模型（如GPT-3）设计输入，以引导模型生成期望的输出。一个良好的prompt可以大大提高模型输出的相关性和质量。例如，一个简单的prompt如“写一篇关于巴黎的文章”可能导致模型输出广泛且泛泛的内容；而更精细的prompt如“描述巴黎在春季的街头景观和当地文化活动”则能引导模型产生更丰富和具体的内容。

技术深入

        我的学习主要从阅读最新的研究论文开始，特别是关于GPT-3和最近推出的GPT-4的论文。我还参加了一些在线课程，如Hugging Face提供的“Transformers库使用”课程，这帮助我理解了底层技术。

        我使用Python编程语言和Hugging Face的Transformers库来实际操作和测试不同的提示。例如，我使用以下代码片段来调用GPT模型并传递prompt：

        在摸索的过程中，我学到的一个重要技巧是使用“zero-shot”和“few-shot”学习方法来优化prompt。在zero-shot学习中，模型没有接受过任何特定任务的训练，而是依赖于通用的知识和理解能力。Few-shot学习则是提供少量示例，以帮助模型理解任务。

遇到的挑战与解决方案

挑战一：输出一致性

        我发现，即使是非常相似的prompt也会产生不一致的输出。为了提高输出的一致性，我开始使用temperature control和repetition penalties这些参数来调整模型的生成设置。

挑战二：处理复杂查询

        对于复杂的查询，单一的prompt常常不足以生成高质量的输出。我通过构建多轮提示，即先生成一个概述然后再详细询问具体细节，逐步引导模型深入生成更具体的内容。