Agent能力的训练与评估

Agent落地需要按照业务场景进行深度定制和微调训练。

微调的目的和语料

微调的目的是让作为Agent大脑的LLM学习“任务规划”和“生成回答”能力。

任务规划能力包括：理解API作用、清楚API参数并正确抽取和组装、学习业务处置流程。

生成回答能力：分场景按约定有效生成回答。

因为目标的复杂度，所以领域Agent的语料很关键，至少需要覆盖以下5个场景的数据：

单轮调用

多轮调用

参数反问

无参调用

拒识负例

为什么要覆盖以上场景的原因：

1、用户问题缺失具体信息，比如怎么办？需要反问用户。

2、用户提供了相应信息、Agent还能接得上之前的意图，并且继续完成调用的链路。

3、不需要调用API、和无参数提取的情况，让LLM能够知道什么场景下要调用什么API、调用的动作、参数的提取、API的执行情况等等。

评估Agent的指标

关键词：多维度

（1）API选择准确率

（2）动作执行准确率：反问、直接调用、拒识等

（3）API入参抽取准确率

（4）端到端成功率

（5）生成回答的BLEU和Rouge-L等

评估指标和结果决定了业务效果和优化方向

BTW：RAG的评估指标