作者 / Master Kunlun 编辑 / Editor Kunlun
技术日新月异,人类生活方式正在快速转变,这一切给人类历史带来了一系列不可思议的奇点。我们曾经熟悉的一切,都开始变得陌生。
一、自主智能体概述(Autonoumous Agent)
智能体(Agent) 的概念其实已经和AI一样古老了,此前agent相关的研究集中在强化学习(Reinforcement learning)以及机器人学(Robotics)中,例如deepmind的Alphago和openai的OpenaiFive都是比较典型的基于强化学习智能体运用。
最近关于agent的研究和话题开始呈现井喷之势,例如AutoGPT, BabyAGI, Generative Agents, MetaGPT等项目在github上已狂揽上万star,成为炙手可热的明星项目。
相比于之前的基于强化学习的Agent研究,本文的agent主要是指以大模型技术(LLM)作为主体或者大脑,能进行自动规划,拥有自主决策能力,以解决复杂问题的智能体。
和Agent的现实潜力相比,现在的ChatGPT或者GPT-4可能仅仅使用到大模型当前不到10%的能力。
我个人开始重点开始关注这个领域是因为OpenAI计算机科学家Andrej Karpathy在twitter(X)表明了agent相关的工作是当前openai重点关注的研究课题之一。以及各种在github刷榜的agent项目。
本文对agent的一些核心的技术要点和关键工作进行简单总结和介绍,
相关的文献最新研究也会持续更新在github仓库中:
https://github.com/Kunlun-Zhu/Awesome-Agents-Research
图一、Autonomou Agent基本组成结构(Lilian Weng)
一个Agent的基本组成应该包含如下四个方面规划(planning), 工具(Tools), 执行(Action), 和记忆(Memory)。
图二、近两年AI智能体相关工作发展(lei wang et, al.)
(1) 智能体决策(Agent Planning)
Agent Planning是Agent能力的核心,一个好的规划决定了agent能否顺利执行以及解决问题,规划简单来说就是任务分解(Task Decomposition); 把复杂的问题划分成可以一步步解决的小步骤,以及不断根据反馈(feedback)去重新调整策略。
- Chain of thought(Wei et al.)
Chain-of-Thought