原博链接:https://lilianweng.github.io/posts/2023-06-23-agent/
- Agent关键组件
(1) 规划(Planning)
- 任务分解
- 思维链Chain of thought (CoT; Wei et al. 2022) :逐步思考能力
- 思维树Tree of Thoughts (Yao et al. 2023):广度优先搜索(BFS)、深度优先搜索(DFS)
- 自我反思:纠正以前错误,迭代改进
- ReAct (Yao et al. 2023)将动作空间扩展为特定于任务的离散动作和语言空间的组合
- Reflexion (Shinn & Labash 2023)是一个为Agent提供动态记忆和自我反思能力以提高推理能力的框架
- Chain of Hindsight (CoH; Liu et al. 2023)鼓励模型通过显式地呈现一系列过去的输出来改进自己的输出,每个输出都有反馈注释
(2) 记忆(Memory)
-
人脑中的记忆类型:感觉记忆、短期记忆、长期记忆
外部记忆可以缓解注意力持续时间有限的限制。标准做法是将信息的嵌入表示保存到支持快速最大内积搜索(MIPS)的矢量存储数据库中。为了优化检索速度,通常的选择是近似最近邻(ANN)算法。
(3) 工具使用(Tool use)
- MRKL (Karpas et al. 2022)
- TALM (Tool Augmented Language Models; Parisi et al. 2022)
- Toolformer (Schick et al. 2023)
- HuggingGPT (Shen et al. 2023):1) 任务规划 2)模型选择 3)任务执行 4)响应生成
- API-Bank (Li et al. 2023)
- 挑战
- 有限的上下文长度
- 长期计划和任务分解中的挑战
- 自然语言接口的可靠性