LLM Agent零微调范式 ReAct & Self Ask

前三章我们分别介绍了思维链的使用，原理和在小模型上的使用。这一章我们正式进入应用层面，聊聊如何把思维链和工具使用结合得到人工智能代理。

要回答我们为什么需要AI代理？代理可以解决哪些问题？可以有以下两个视角

首先是我们赋能模型，如果说LLM是大脑，那Agent提供了手脚和感官

1. 感官：获取真实世界的信息，包括实时信息像天气情况，金融市场，交通状况；包括私有信息例如用户个人数据；包括多模态信息像声音和图像
2. 手脚：获得和真实世界交互的能力，例如运行python脚本，调用搜索引擎，预定机票酒店。

其次是模型赋能我们，Agent加持的大模型，作为更优的数据和任务中介/代理，赋予了我们和任意数据类型交互的能力，大模型正在重构数据和信息的处理方式。从之前的结构化数据为主向更多的非结构化数据转变。

OpenAI应用研究主管LilianWeng写的LLM Powered Autonomous Agents把人工智能代理(AI Agent)分成了以下3个部分：规划模块，工具调用模块和记忆模块。

之后几章我们会聊到AI代理方案的主要差异也在这三个方向

1. 规划：如何对问题进行拆解得到解决路径，既模型推理步骤
2. 工具：支持哪些工具使用，如何进行工具选择，并生成调用工具的请求
3. 记忆：短期记忆包括工具的返回值，已经完成的推理路径，长期记忆包括可访问的外部长期存储例如知识库

第一篇我们结合langchain介绍无需微调，使用few-shot，zero-shot prompt来生成推理和工具调用模板的两个方案ReAct和SelfASk。个人对langchain是又爱又恨，爱的是它集成了很多前沿的大模型应用方案，恨是感觉它有些过度封装，有点简单问题复杂设计的感觉。因此推荐使用langchain来理解每种方案的实现原理，然后脱离langchain自己写，或者只使用langchain的基础组件来实现，不要去使用它的高级API。

Self Ask

• Self-ask: MEASURING AND NARROWING THE COMPOSITIONALITY GAP IN LANGUAGE MODELS
• https://ofir.io/Self-ask-prompting/

原理

Self Ask提出了一种把问题拆解成子问题的Prompt范式，每一步模型都会自我提问是否可以把问题改写/拆解成一个简单的子问题，并进行回答，回答时可以调佣搜索工具来获得答案，然后根据工具返回结果，继续进行自我提问，直到获得最终答案。其实自我提问的推理形式并不是核心，核心是引导模型来进行问题拆解，也就是开头提到的规划能力。

论文提出之所以需要把原始的思维链改造成一步步自我提问的形式，是因为发现模型在回答复杂问题的时候，模型虽然可以正确回答其中的子问题，但是却无法回答由子问题组合起来的复杂问题，作者称之为Compositionality Gap。举个栗子：模型可以正确回答贾斯汀比伯是哪年出生的? 以及谁是94年大师赛的冠军？ 但是模型无法回答谁是贾斯汀比伯出生那一年的大师赛的冠军？而通过引入问题拆解的推理方式，可以很好解决这个问题

应用

我们来看下langchain的Self Ask实现，官网Demo是直接用initialize_agent来初始化代理，这里我们把中间步骤拆解开。以下使用了SerpAPI的google搜索工具和GPT3.5，都需要先去官网申请Key

import os
from langchain.agents.loading import AGENT_TO_CLASS
from langchain.agents.agent import AgentExecutor
from langchain.agents import AgentType, Tool
from langchain import OpenAI, SerpAPIWrapper
## 需要科学上个网
os.environ["http_proxy"] = "http://127.0.0.1:7890"
os.environ["https_proxy"] = "http://127.0.0.1:7890"
## 定义大模型和搜索工具
llm = OpenAI(temperature=0