[论文泛读]PromptChainer: Chaining Large Language Model Prompts through Visual Programming

CHI2022的文章

借助kimi.ai等工具速读，然后在readpaper细读

核心问题

• 如何通过视觉编程界面简化非AI专家使用大型语言模型（LLM）进行复杂任务原型设计的过程

章节速览

ABSTRACT

• 一种名为PromptChainer的工具
• 通过视觉编程方法来链接大型语言模型（LLM）的提示。
• 尽管LLM能够快速原型化（prototype）新的机器学习功能，但对于许多现实世界的复杂任务，单次LLM运行难以处理。
• 最近的研究发现，通过将多个LLM运行串联起来（每一步的输出作为下一步的输入），可以帮助用户完成这些更复杂的任务，并且这种方式更为透明和可控。然而，目前尚不清楚用户在编写（authoring）自己的LLM链时需要什么，这是降低非AI专家原型化AI集成应用障碍的关键一步。
• 该研究探索了LLM链的编写过程，并发现用户需要支持在链的步骤之间转换数据，以及在不同粒度上调试链。为了满足这些需求，研究者设计了PromptChainer，这是一个用于视觉编程链的交互式界面。
• 通过与四位设计师和开发者的案例研究，证明了PromptChainer可以支持构建各种应用程序的原型。最后，论文提出了关于将链扩展到更复杂任务以及支持低精度链原型化的问题。

INTRODUCTION

本文探讨大型语言模型（LLM）如何简化AI原型设计，用户可自定义任务而不需重新训练。但复杂的任务和多步骤操作对单次LLM运行构成挑战。作者提出PromptChainer，一个用于构建LLM链的用户界面，解决链式操作的复杂性和错误管理。案例研究显示，用户构建LLM链不仅为克服模型限制，也为提高原型扩展性。未来研究需关注如何处理高复杂性任务和寻找高效提示设计的平衡点。

BACKGROUND: LARGE LANGUAGE MODELS, PROMPTING AND CHAINING

本文探讨大型语言模型、提示和链式方法在生成语言中的应用。介绍了零样本和少样本提示的常见模式，同时指出单个语言模型在原型设计中的局限性，如缺乏多步骤推理能力。为此，作者提出将多个语言模型提示串联起来，以探索用户如何编写有效的原型链。

PROMPTCHAINER: INTERFACE REQUIREMENT ANALYSIS & DESIGN

本章介绍了PromptChainer的设计，这是一个人工智能链式任务接口。通过与软件工程师和设计师团队合作，分析了他们在编写大型语言模型（LLM）链时的困难，如数据转换需求、LLM函数签名的稳定性问题以及级联错误的风险。据此，设计了PromptChainer界面，包括链视图、节点视图和支持链调试的功能。界面提供了节点预览、不同类型的节点（包括LLM节点、助手节点和通信节点），以及用于示例和指导用户的图库。此外，PromptChainer还支持各级别的交互式调试，以帮助用户识别和修复链中的错误。

USER FEEDBACK SESSIONS

本章通过用户反馈会探讨了用户希望构建何种链式任务，PromptChainer对用户需求的满足程度以及用户在链式任务构建过程中面临的挑战。用户提出了多样化的任务，如音乐聊天机器人、广告生成器和写作助手等，链式任务结构反映了不同的高层次模式。研究表明PromptChainer支持多种链式任务构建策略，并可进行多层次调试。但用户在构建具有相互依赖子任务的链式任务时遇到了挑战，如保持任务间的连贯性、跟踪具有复杂逻辑的链式任务等。未来研究需进一步支持用户发现并解决问题。

CONCLUSION

本章总结了对大型语言模型（LLM）链式创作的三项独特挑战，并介绍了为解决这些问题而设计的PromptChainer工具。该工具能够帮助用户改进LLM的中间输出，并在链式步骤产生交互影响时进行调试。研究还揭示了未来的研究方向，包括支持更复杂的链式结构和更明确地支持初步构建的链式创作，以便用户无需前期投入过多时间就能草拟出链式结构。

学术概念

术语	原文出处	解释
Large Language Models (LLMs)（大型语言模型）	Large language models (LLMs) have introduced new possibilities for prototyping with AI.	预训练了大量文本数据的模型，如GPT-3，能够通过自然语言提示进行实时定制，处理新任务。
In-context learning（在上下文中学习）	…models like GPT-3…encode enough information to support in-context learning.	模型能够在给定上下文（即提示）中理解和生成响应，而无需额外的训练数据。
Prompting（提示）	…customizing at run time (without any re-training needed) to handle new tasks, simply by taking in natural language instructions called prompts.	通过提供特定的输入（提示）来引导模型生成期望的输出的交互方法。
Chaining（链式）	…previously proposed chaining multiple LLM runs together…	将多个LLM运行链接在一起的方法，一个步骤的输出成为下一个步骤的输入，处理复杂多步骤任务。
PromptChainer（PromptChainer）	To address these needs, we designed PromptChainer, an interactive interface for visually programming chains.	一个交互式界面，允许用户通过视觉编程链接和编辑LLM提示，构建处理复杂任务的链。
Chain View（链视图）	(A) The Chain View visualizes the chain structure with node-edge diagrams…	PromptChainer中的视图，以节点-边图形式可视化链结构，用户可以编辑链的构建。
Node View（节点视图）	(B) The Node View supports implementing, improving, and testing each individual node…	PromptChainer中的视图，支持用户实现、改进和测试链中的每个单独节点。
End-to-End（端到端）	PromptChainer also supports running the chain end-to-end ©.	从输入到输出的完整处理流程，用户可以运行整个链并查看每个节点的输出。
Debugging（调试）	…PromptChainer supports debugging the chain at multiple granularities.	在构建链时，找出并修正错误或问题的过程，PromptChainer支持多级调试。
Branching（分支）	…chains with parallel logic branches, similar to decision trees.	在链中创建多个逻辑分支，允许根据不同条件或决策生成不同输出的方法。
Iterative Content Processing（迭代内容处理）	…chains that incrementally iterate on content.	通过逐步迭代和细化内容来处理输入的链构建方法，通常采用分而治之策略。
Versatility（多功能性）	The versatility of LLMs means that users need to develop a mental model of their capabilities.	LLM能够处理多种不同类型的任务和请求的特性。
Unstable Function Signatures（不稳定的函数签名）	LLMs also lack stable function signatures…	LLM输出的语义类型可能会随着提示的变化而变化，使得链的迭代变得复杂。
Cascading Errors（级联错误）	…the likelihood of cascading errors.	当链中的一个步骤产生次优或不安全的输出时，可能会导致整个链的后续步骤出现错误。

关键

• 论文的明确方法论

  • 通过可视化编程的方式来连接多个LLM prompts,实现复杂任务的完成。
  • 通过案例研究验证了PromptChainer支持用户构建一系列应用原型的能力。

• 论文经过验证的结论

  • 链式prompts相比单个prompt,能够让非AI专家用户更好地完成复杂任务,且具有更高的透明度和可控性。
  • PromptChainer通过可视化编程界面支持用户灵活编排prompts链,并提供了多粒度调试功能。
  • 用户在构建prompts链时,需要数据格式转换和多粒度调试的支持。

• 论文的关键信息

  • 论文主旨：探索LLM prompts链式编排的用户需求,并基于此设计开发了PromptChainer这一可视化编程工具,支持用户灵活构建prompts链,完成复杂任务。
  • 有效解决的问题
    • 传统的单个prompt方式很难让非AI专家用户完成复杂任务,PromptChainer通过prompts链式组合和可视化编程的方式,有效支持用户构建复杂应用原型。

• 待进一步验证的问题

  • 如何扩展prompts链以支持更高的逻辑复杂度和上下文一致性?
  • 如何平衡prompts的编写效率和质量,快速低保真验证多种不同的链式方案?

• 提及的性能优化和解决方案

  • 通过预定义的辅助节点,覆盖了大部分常见的数据转换(占所有辅助节点的76%)和评估需求。
  • 通过节点可视化(状态图标、数据预览)和多粒度调试(单元测试、端到端测试、断点调试),提升了prompts链的透明性和可控性。

生词积累