LLMARENA: Assessing Capabilities of Large Language Models in Dynamic Multi-Agent Environments

本文是LLM系列文章，针对《LLMARENA: Assessing Capabilities of Large Language Models in
Dynamic Multi Agent Environments》的翻译。

摘要

大型语言模型（LLM）的最新进展揭示了它们在实现具有人类水平智能的自主主体方面的潜力。然而，评估LLM代理的现有基准要么使用静态数据集，可能导致数据泄露，要么只关注单个代理场景，忽略了多代理交互的复杂性。缺乏评估LLM代理在多智能体、动态环境中的不同能力的基准。为此，我们介绍了LLMARENA，这是一个新颖且易于扩展的框架，用于评估LLM在多智能体动态环境中的各种能力。LLMARENA包括七个不同的游戏环境，使用TrueSkill™评分来评估LLM代理的关键能力，包括空间推理、战略规划、数字推理、风险评估、沟通、对手建模和团队协作