全球最大的 AI 虚拟人物对话平台 Character.AI 开源了它们的 Prompt Design 项目—— Prompt Poet
Prompt Poet 通过低代码简化了 Prompt Design 的过程,使开发人员和非技术用户都能轻松上手。
网址:https://github.com/character-ai/prompt-poet
Prompt Poet 结合使用 YAML 和 Jinja2,实现了灵活、动态的 Prompt 创建,提高了与 AI 模型交互的效率和质量。它节省了在字符串操作上的工程时间,使每个人都能更专注于为用户制作最佳 Prompt。
⚙️Prompt Poet 重要组成 ⚙️
提示模板 (Prompt Templates)
Prompt Poet 模板混合使用 YAML 和 Jinja2,模板处理主要分为两个阶段:
– 渲染:Jinja2 处理输入数据的阶段,执行控制流逻辑,验证数据并适当地绑定到变量,同时评估模板中的函数。
– 加载:渲染后,输出是一个结构化的 YAML 文件。这个 YAML 结构由重复的块或部分组成,每个部分都被封装成一个 Python 数据结构。
– 这些部分具有以下几个特征:
→ 名称:一个清晰的、人类可读的部分标识符。
→ 内容:构成提示的实际字符串负载。
→ 角色(可选):指定参与者的角色,有助于区分不同的用户或系统组件。
→ 截断优先级(可选):在必要时确定截断的顺序,具有相同优先级的部分按照它们出现的顺序进行截断。
设计选择 (Design Choices)
– Prompt Poet 库和模板语言:
→ Prompt Poet 库提供多种功能,包括分词和截断,以实现高效缓存和低延迟响应。
→ 使用 Jinja2 和 YAML 的组合作为模板语言,提供了强大的表达能力和结构化数据表示。
– 提示可移植性和函数调用:
→ 模板化设计使得提示可以在不同团队和系统间轻松共享。
→ 支持在模板中直接调用 Python 函数,便于即时数据处理和验证。
– 自定义编码和截断策略:
→ 允许用户自定义令牌编码函数。
→ 提供了高度优化的截断算法,旨在最大化前缀缓存率。
– 缓存感知截断:
→ 采用固定截断点策略,平均每 k 个回合才移动一次截断点。
→ 这种方法能够显著提高 GPU 前缀缓存的利用率,达到 95% 的缓存率。
– 朴素截断 vs 缓存感知截断:
→ 朴素截断每回合都移动截断点,导致缓存利用率低。
→ 缓存感知截断保持固定截断点,允许重用之前的计算结果,大幅提高效率。