Chain-of-Action (行动链)：从Agent工作流到Agent模型

最新推荐文章于 2025-03-24 10:55:11 发布

程序员笑武

最新推荐文章于 2025-03-24 10:55:11 发布

阅读量1k

点赞数 15

文章标签： powerpoint 数据库 android 人工智能 gpt

本文链接：https://blog.csdn.net/m0_59164304/article/details/145686889

版权

OpenAI的Deep Research功能推出后，开源社区出现了很多复现工作。比较有代表性的Hugging Face官方的Open DeepResearch，通过代码规划行动步骤，实现了思考(thought)和行动(action)交互的ReAct工作流。它同时支持后台接入系统一模型(如DeepSeek-V3)和系统二推理模型(如DeepSeek-R1)。

要注意的是，表中第一列的Perplexity和秘塔是指早期传统AI搜索的核心模块。一方面，像秘塔和纳米搜索等现在后台也接入了R1，支持基于慢思考的搜索，其实和第二列的DeepSeek联网搜索基本一样了；

另一方面，AI搜索背后的实现涉及查询改写-重排-生成-后处理等工作流，RAG只是核心模块。接下来要讨论的也只是OpenAI Deep Research的核心模块，在o3微调版之前还有一个前置的GPT-4o负责明确用户需求。

可以看到，新增加的第四列-Open DeepResearch虽然支持接入推理模型，但仍然是基于工作流实现思考和搜索行为的切换，可以认为思维链CoT和行动链(Chain-of-Action, CoA)是独立的。

OpenAI Deep Research通过对推理模型增强工具使用能力，将思维链CoT和行动链CoA耦合，因此可以支撑更长链条的思考-搜索循环，从而完成更复杂的知识搜索任务。

1. Agent工作流 vs. Agent模型

Agent的两个核心能力是任务规划和工具使用。推理模型实现了任务规划的行为内化，在此基础上继续增强了工具使用能力的推理模型，可以给它起一个新的名字：Agent模型。

之前通过模型编排实现任务规划、工具使用等Agent效果的方式称为工作流。那么，Agent模型和Agent工作流的区别是什么？

可以结合此前慢思考/推理的不同实现方式来理解。慢思考/多步推理的方式在o1推理模型出现之前就有了。最早的 CoT 论文提出了通过 prompting 的方法来实现多步推理，利用in-context learning来“强迫”模型生成多步思考的输出，可以认为也是一种工作流。

而o1及之后的推理模型使用的是基于学习的方法：无论是只SFT、先SFT再RL，还是直接RL。推理模型从训练阶段学习了思考步骤之间的关联，因此推断时的多步思考行为是“自愿”的。与工作流方法相比，这种方式产生的思维链逻辑性更强，并可以递进式地生成更深入的内容。

同样的，为了实现边思考边行动的能力，此前的Agent工作流的方式通过更为复杂的prompting (可以成为“工作流工程”)，“强迫”模型在思考和行动之间切换。

而通过将耦合的 CoT 和 CoA 训练到模型行为中，Agent 模型能够“自愿”地决定何时以及如何进行行动。比如OpenAI Deep Research可以进行动态规划，在需要的时候才进行搜索，并基于上下文选择使用什么搜索词。像人类在完成知识研究类任务时一样，循序渐进、步步深入地挖掘更深层次的内容。

再来看OpenAI的AGI路线图。第一层Chatbot和第二层Reasoner都只关注人和模型的二元交互，区别在于Reasoner层的模型在回答之前先进行慢思考推理。

第三层Agent需要模型边思考边行动，因此还需要考虑外部环境，是人-模型-环境的三元结构。行动即是通过工具使用与环境交互来获得反馈，经过多轮think、action和observation的迭代，最终生成回复。

Operator和Deep Research都是如此：Operator的环境是操作系统和应用程序，而Deep Research目前的环境是网络信息和数据资源。

2. 如何训练Agent模型？

从形式看，推理模型的数据是（Q,CoT,A），Agent模型的数据是（Q,CoT,CoA,A）。其中CoA中每个Action的格式是<action_type, action_content, action_feedback>。其中action_type（如“search”）和 action_content（如“query”）是模型生成的。action_type和action_content都是使用工具的参数。action_feedback（如”search result”）是使用工具后环境反馈的结果。

最直接的是沿用推理模型已经证明成功的训练方法。此前我们在复现OpenAI的强化微调RFT时，只将其应用于增强领域推理能力。如果拓展RFT的使用范围，将工具使用能力也通过RFT微调，嵌入推理行为，似乎可以实现Agent模型的训练。

有两种方式。（1）技术理想派：只提供(Q,A)。像DeepSeek R1一样，只给模型问题、最终答案和硬规则(比如鼓励think、鼓励tool use)，让模型自己采样生成合适的CoT和CoA。不过这要比只生成CoT更困难：不仅要生成新的action类型，还要将action和think耦合。

（2）实用派：提供（Q,CoT,CoA,A）。如果有(少量)包含完整思维链和行动链的数据，可以先在（Q,CoT,CoA,A）上SFT，然后在（Q, A）或（Q,CoT,A）上RL。

有两点要注意。一个是与CoA所有输出都由模型生成不同，CoA的feedback由工具使用后反馈，因此包含CoA的RL训练涉及与外部环境交互。这里可以参考MuZero的做法，同步进行环境的世界模型训练和策略模型训练。

第二点是，Agent模型的训练让我们更清楚地看到了模型能力的积累。有了系统一底座（4o/V3）的行动action（如tool use）能力、系统二模型（o3/R1）的链式推理Chain-of-X的能力，才有可能得到Agent模型的Chain-of-Action能力。

当然，也有一种可能。因为生成action_type/content本质上和生成think是一样的，如果系统一底座已经具备了很好的tool use能力，在训练推理能力的时候，CoA会和CoT一样自动涌现。

3. 影响

主要看一下对Agent平台的影响。Agent模型的将原本手动设计的CoT+CoA工作流内化为模型行为，从而进行自动生成。这可能让所谓的工作流工程消失。

这和我们已经经历的特征工程和提示工程的消失类似：深度学习的特征学习能力让手工设计特征不再必要，而像 R1 这样的推理模型增强了指令理解能力，让设计提示词也变得不再重要。

当工作流生成能力下沉到模型层，Agent平台上提供的预设/定制工作流的价值会大大降低。Agent平台将成以RFT as a Service（RFTaaS）的形式运行：用户提供(Q,A)或少量(Q,CoT,CoA,A)就可以构建自己的Agent，相比现在专家设计工作流的门槛降低、灵活性则提高。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述