Agent-as-a-Judge：AI系统评估新思路

随着近年来多模态和自主型AI系统的迅猛发展，这些系统已经能够从解决小型、孤立的问题跃升至应对复杂、现实世界的挑战。然而，随着这些系统的不断进化，我们的评估方法也必须与时俱进。传统的评估方法（RAG(Retrieval-Augmented Generation)评测：评估LLM中的幻觉现象），如仅关注最终结果或依赖人工评估，已被证明不足以评估自主型系统所体现的逐步、动态过程。正是在这一背景下，Agent-as-a-Judge框架应运而生，它不仅革新了我们对AI的评估方式，还凸显了自主型系统在自我改进方面的日益增长的作用。今天我们一起了解一下Agent-as-a-Judge。

一、当前评估方法的局限性

（一）聚焦最终结果

传统 AI 评估主要关注最终输出，例如评估代码生成系统时，仅