AI工作流程设计的自动化优化：微软与斯坦福的新成果 - Trace

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

设计AI应用（如聊天机器人和编码助手）的计算工作流程非常复杂，因为需要管理许多异构参数，如提示和机器学习超参数。部署后的错误需要手动更新，增加了挑战性。该研究探讨了旨在自动化设计和更新这些工作流程的优化问题。由于其复杂性，涉及相互依赖的步骤和半黑盒操作，传统的优化技术（如贝叶斯优化和强化学习）往往效率不足。虽然提出了基于LLM的优化器以提高效率，但大多数仍依赖标量反馈，并处理仅包含单一组件的工作流程。

微软研究院和斯坦福大学的研究人员提出了一个名为Trace的框架，用于自动化设计和更新AI系统（如编码助手和机器人）。Trace将计算工作流程视为类似于神经网络的图结构，并使用Trace Oracle优化（OPTO）优化异构参数。Trace高效地将工作流程转换为OPTO实例，使通用优化器OptoPrime能够基于执行轨迹和反馈迭代更新参数。这种方法提高了跨多个领域的优化效率，在提示优化、超参数调整和机器人控制器设计等任务中表现优异，超过了专门优化器。

现有框架如LangChain、Semantic Kernels、AutoGen和DSPy主要通过标量反馈和黑盒搜索技术来组合和优化计算工作流程。而Trace不同的是，它使用执行追踪进行自动优化，将计算图泛化以适应各种工作流程。Trace的OPTO框架支持提示、超参数和代码的联合优化，提供丰富的反馈，并动态适应工作流程结构的变化。它将自动微分原则扩展到不可微工作流程，实现高效的自适应代理和通用优化，且在多个任务中超越了专门优化器。

OPTO构成了Trace的基础，定义了一个用于迭代优化的基于图的抽象。计算图是一个DAG，其中节点表示对象，边表示输入输出关系。在OPTO中，优化器选择参数，Trace Oracle返回包含计算图和输出输入的轨迹反馈。此反馈可以包括分数、梯度或自然语言提示。优化器使用这些反馈来迭代更新参数。与黑盒设置不同，执行轨迹提供了到输出的清晰路径，使参数更新更加高效。Trace利用OPTO通过抽象设计和领域特定组件来优化各种工作流程。

基于LLM的优化算法OptoPrime是为OPTO问题设计的。它利用LLM的编码和调试能力来处理执行轨迹子图。Trace反馈是一种伪算法，允许LLM建议参数更新。OptoPrime包括一个内存模块，用于跟踪过去的参数反馈对，增强鲁棒性。实验表明，OptoPrime在数值优化、交通控制、提示优化和长时间跨度机器人控制任务中的有效性。OptoPrime在利用执行轨迹信息和记忆方面表现出优异性能，优于其他优化器。

Trace将计算工作流程优化问题转化为OPTO问题，并通过OPTO优化器OptoPrime有效地展示了这一点。这标志着向新优化范式迈出了初步步骤，并具有多种未来方向。LLM推理的改进，如链式思维、少样本提示、工具使用和多代理工作流程，可能会改善或启发新的OPTO优化器。结合LLM和搜索算法与专用工具的混合工作流程可能会产生一个通用的OPTO优化器。特别是针对大规模图的计算传播器的专门化，以及开发能够进行反事实推理的优化器，可能会提高效率。非文本上下文和反馈也可能扩展Trace的适用性。

https://github.com/microsoft/Trace