Exploring Prompt Engineering: A Systematic Review with SWOT Analysis

题目

探索快速工程：基于 SWOT 分析的系统评价

论文地址： https://arxiv.org/abs/2410.12843

摘要

    在本文中，我们对大型语言模型 (LLM) 领域的提示工程技术进行了全面的 SWOT 分析。我们强调语言原理，研究各种技术以确定它们的优势、劣势、机会和威胁。我们的研究结果为增强人工智能交互和提高语言模型对人类提示的理解提供了见解。分析涵盖了包括基于模板的方法和微调在内的技术，解决了与每种方法相关的问题和挑战。结论提供了未来的研究方向，旨在提高提示工程在优化人机通信方面的有效性。含义陈述：提示工程增强了与大型语言模型 (LLM) 的通信。我们的 SWOT 分析确定了各种技术的优势、劣势、机会和威胁，包括基于模板的方法和微调。通过关注语言原理，我们提供了改善人工智能交互和对人类提示的理解的见解。这项研究提高了人工智能的能力并解决了挑战，为更有效的人机交流铺平了道路。这些发现有利于客户服务、教育等领域的应用，从而带来更可靠、响应更快的人工智能系统。

索引词——大型语言模型、自然语言处理、提示工程、提示工程技术

简介

    提示工程是人工智能领域中一个发展迅速的领域，尤其专注于优化人与大型语言模型 (LLM) 之间的交互 ​。提示工程的核心是设计和构建输入（称为提示），以从人工智能系统中获得最准确、最相关和最有用的响应。这种实践以语言学原理为基础，利用对语言模式和结构的理解来设计有效指导人工智能行为的提示。大型语言模型的出现凸显了提示工程的重要性 [9]。这些模型在生成类人文本、文本转图像、文本转视频、回答问题以及执行各种语言任务方面表现出了卓越的能力。

    然而，它们的表现在很大程度上取决于提示的制作水平。有效的提示工程可以显著提高人工智能响应的准确性和相关性，使交互更加直观和高效。已经开发出各种技术来改进提示工程，包括基于模板的方法，其中使用固定结构来标准化提示，以及使模型适应特定任务或领域的微调方法。这些技术旨在缓解歧义、偏见和上下文敏感性等常见问题，从而提高人工智能输出的稳健性和可靠性。随着人工智能继续更深入地融入日常应用，提示工程在确保无缝和有意义的人机通信方面的作用变得越来越重要。

    主要发现，本文的主要发现如下：

• 协同作用：确定了人工智能、语言学和即时工程之间的协同作用。
• 技术：确定并分类了许多即时工程方法。
• 指标：确定了用于评估不同即时工程方法的众多指标，包括 BLEU、BERTScore、ROUGE 和 Perplexity。
• SWOT 分析：确定了各种即时工程技术的优势、劣势、机会和威胁。

方法论

    这项调查对即时工程领域进行了广泛的研究，结合了来自著名学术数据库和在线平台（如 IEEE Xplore、ACM 数字图书馆、Google Scholar 等）的 100 多篇论文的见解。使用与即时工程相关的关键字进行查询以收集一套全面的出版物。

背景

    提示工程涉及制定定制的指令或提示，以将高级语言模型（例如 GPT-3）的响应引导至特定结果（例如，指示 ChatGPT 生成特定文本）。提示工程涉及设计输入提示，以从大型语言模型 (LLM) 中引出准确且有价值的响应。提示工程是指制定和改进输入查询（称为“提示”）以从大型语言模型 (LLM) 中获得特定结果的实践。这些提示在指导 LLM 产生既相关又有益的输出方面起着关键作用。提示工程创建了一种设计解决不同问题的提示的方法，允许跨各个领域进行定制。它通过合并多种提示策略来增强 LLM 输出，并促进知识LLM 用户和开发者之间的共享。提示工程简化了 LLM 应用程序开发，节省了时间并提供可定制的交互。它简化了常见问题的解决，提高了响应准确性并促进了对话式 AI 的发展。提示工程将显著增强大型语言模型 (LLM) 的功能，促进精确和快速的语言输出。

    这个新兴领域不仅有望提高效率和优化跨部门运营，而且还为那些精通提示制作的人开辟了新的职业道路。随着复杂提示的不断进步，我们可以期待 LLM 管理的用户界面更加直观，从而实现精细的内容生成和探索以前无法实现的 LLM 应用程序。提示工程通过促进对 LLM 行为和能力的更深入理解来增强 LLM 应用程序，引导 LLM 提供真实且信息丰富的响应。它通过将优化的提示与传统学习技术相结合来促进小样本学习，从而产生更高效的聊天机器人、虚拟助手和专门用于对话式 AI 的提示工程工具。因此，它在通过提高 LLM 性能来推进 NLP 任务方面发挥着至关重要的作用。提示工程通过使用特定的单词和格式制定详细的指令来引导生成式 AI 获得所需的输出。这个涉及反复试验的创造性过程确保 AI 与用户进行有意义的交互并满足应用程序的期望。

    提示工程中的语言学原理 Marjorie McShane 和 Sergei Nirenburg认为，人工智能时代的语言学基于四大支柱：

• 支柱 1：在统一代理框架内开发语言处理。
• 支柱 2：受人类启发的解释性 AI 建模和可操作的见解。
• 支柱 3：对语言学学术的贡献和学习。
• 支柱 4：使用所有启发式证据进行意义提取和表示。

    Marjorie McShane 和 Sergei Nirenburg提出的人工智能语言学四大支柱与以下描述中定义的即时工程的几个方面有相似之处：在统一代理框架内进行开发（支柱 1）符合即时工程的目标，即简化 LLM 应用程序开发并提供可定制的交互，提高语言输出效率和响应准确性。这种联系强调了复杂系统的集成以及两个领域的一致性目标。受人类启发的解释性人工智能建模（支柱 2）反映了即时工程背后的意图，即促进对 LLM 行为和能力的更深入理解，指导 LLM 提供真实且信息丰富的响应。两者都强调了类似人类的理解和推理在人工智能系统中的重要性。

    学习和贡献语言学研究（支柱 3）与提示工程方面相平行，提示工程涉及基于反复试验设计和改进提示，这需要理解语言及其细微差别。这反映了双方对推进语言知识并将其应用于增强 AI 能力的共同兴趣。在提示工程方法中可以看到，将启发式证据纳入意义提取（支柱 4），以设计提示，从 LLM 中引出准确而有价值的反应。这两个领域都利用全面的数据和见解来改进语言的解释和生成。图 1 和表 I 说明了 AI 语言学和提示工程之间的融合。

图 1. 即时工程中人工智能、语言学、心理学和创造力的融合

相关工作