Promptim：AI 提示自动迭代优化库，生成最佳提示

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

---

🚀 快速阅读

1. Promptim 是一个实验性的提示优化库，通过自动化流程提升 AI 系统在特定任务上的提示效果。
2. 主要功能包括自动化提示优化、自定义评估器集成、人工反馈循环和多轮优化。
3. 技术原理基于优化循环、元提示、性能评估、模型集成和数据驱动的优化。

正文（附运行示例）

Promptim 是什么

Promptim 是一个实验性的 AI 提示优化库，旨在帮助用户系统地改善 AI 系统的提示效果。用户只需提供初始提示、数据集和自定义评估器，Promptim 就能自动运行优化循环，生成更优的提示。这一过程提高了 AI 任务的性能，支持用人工反馈进一步指导优化，实现更精准的 AI 系统调优。Promptim 的目标是简化 AI 提示的调整和优化工作，让 AI 系统更加高效和智能。

Promptim 的主要功能

• 自动化提示优化：自动迭代和优化 AI 系统的提示，提高特定任务的性能。
• 自定义评估器集成：用户能定义自己的评估器衡量提示的效果，Promptim 根据评估器的反馈进行优化。
• 人工反馈循环：支持“人在回路”的优化，支持用户直接对 AI 输出提供反馈，指导优化过程。
• 多轮优化：用多次迭代优化，Promptim 不断调整提示，直至找到最佳配置。

Promptim 的技术原理

• 优化循环：Promptim 基于优化循环迭代改进提示。循环包括评估当前提示的性能，根据评估结果提出改进建议，再测试改进。
• 元提示（Meta-prompting）：在每个训练批次中，Promptim 用一个元提示建议对当前提示的修改。元提示是高级提示，指导提示的优化方向。
• 性能评估：在训练和验证数据集上评估提示的性能，用用户定义的评估器量化性能指标。
• 模型集成：与不同的 AI 模型集成，基于模型生成和评估提示。
• 数据驱动的优化：优化过程是基于数据的，用数据集测试和改进提示，确保优化是基于实际性能反馈的。

如何运行 Promptim

1. 安装

首先安装 CLI：

pip install -U promptim

确保环境中有有效的 LangSmith API Key 和 Anthropic API Key:

LANGSMITH_API_KEY=CHANGEME
ANTHROPIC_API_KEY=CHANGEME

2. 创建任务

接下来，创建一个任务来优化。运行以下命令生成模板：

promptim create task ./my-tweet-task \
    --name my-tweet-task \
    --prompt langchain-ai/tweet-generator-example-with-nothing:starter \
    --dataset https://smith.langchain.com/public/6ed521df-c0d8-42b7-a0db-48dd73a0c680/d \
    --description "Write informative tweets on any subject." \
    -y

这将生成启动代码，包括任务的名称、提示、数据集和描述。完成后，my-tweet-task 目录中应有以下文件：

└── my-tweet-task
    ├── config.json
    └── task.py

3. 定义评估器

打开 my-tweet-task/task.py 中的评估器存根，找到分配分数的行：

# Implement your evaluation logic here
score = len(str(predicted.content)) < 180  # Replace with actual score

更新该行为：

score = int("#" not in result)

更新评估器名称：

"key": "tweet_omits_hashtags",

添加评论：

"comment": "Pass: tweet omits hashtags" if score == 1 else "Fail: omit all hashtags from generated tweets",

4. 训练

运行 train 命令开始优化：

promptim train --task ./my-tweet-task/config.json

终端会显示进度。完成后，终端将打印出最终的“优化”提示和 hub 中的提交链接。

资源

1. GitHub 仓库：https://github.com/hinthornw/promptimizer

---

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦