A Multi-evidence, Position-aware, and Scalable Benchmark for Evaluating Long-Context LLMs

最新推荐文章于 2024-11-04 22:31:49 发布

UnknownBody

最新推荐文章于 2024-11-04 22:31:49 发布

阅读量176

点赞数 6

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/139382056

版权

LLM Daily 同时被 3 个专栏收录

791 篇文章 8 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM Evaluation

65 篇文章 2 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM context

28 篇文章 1 订阅

订阅专栏

本文提出Counting Stars基准，用于多证据、位置感知和可扩展的长上下文大型语言模型（LLM）评估。实验显示Gemini 1.5 Pro表现最佳，但所有模型在更长上下文和复杂任务中有改进空间。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《Counting-Stars (★):A Multi-evidence, Position-aware, and Scalable Benchmark for Evaluating Long-Context Large Language Models》的翻译。

摘要

虽然最近的研究工作集中在开发具有强大长上下文能力的大型语言模型（LLM）上，但由于缺乏长上下文基准，人们对长上下文LLM的性能知之甚少。为了解决这一差距，我们提出了一种用于评估长上下文LLM的多证据、位置感知和可扩展的基准，名为Counting Stars，它通过使用两个任务来评估长上下文LLC：多证据获取和多证据推理。基于Counting Stars测试，我们进行实验来评估长上下文LLM（即GPT-4 Turbo、Gemini 1.5 Pro、Claude3 Opus、GLM-4和Moonshot-v1）。实验结果表明，Gemini 1.5 Pro实现了最佳的整体效果，而GPT-4 Turbo的性能在各种任务中是最稳定的。此外，我们对这些LLM的分析表明，随着输入上下文的长度和任务的复杂性的增加，LLM有改进的潜力。代码和数据已发布。