GAIA: a benchmark for General AI Assistants

本文是LLM系列文章，针对《GAIA: a benchmark for General AI Assistants》的翻译。

摘要

我们介绍了GAIA，这是一个通用人工智能助理的基准，如果得到解决，将代表人工智能研究的一个里程碑。GAIA提出了需要一套基本能力的现实世界问题，如推理、多模态处理、网络浏览和一般工具使用熟练度。GAIA问题对人类来说在概念上很简单，但对大多数高级人工智能来说却很有挑战性：我们发现，人类受访者在配备插件的GPT-4中获得了92%的支持率，而在配备了插件的GPT-1中获得了15%的支持率。这种显著的表现差异与LLM在需要法律或化学专业技能的任务上表现优于人类的最近趋势形成了鲜明对比。GAIA的理念与当前人工智能基准的趋势不同，人工智能基准建议针对对人类来说越来越困难的任务。我们认为，通用人工智能（AGI）的出现取决于系统在这些问题上表现出与普通人相似的鲁棒性的能力。使用GAIA的方法，我们设计了466个问题及其答案。我们发布了我们的问题，同时保留了其中300个问题的答案，以便为领导委员会提供权力。

1 引言

2 相关工作

3 GAIA

4 LLMs在GAIA上的结果