本文是LLM系列文章,针对《CLongEval: A Chinese Benchmark for Evaluating Long-Context Large Language Models》的翻译。
CLongEval:一个评估长上下文大语言模型的中文基准
摘要
开发具有强大长上下文能力的大型语言模型(LLM)是近年来的研究热点,导致了精通汉语的长上下文LLM的出现。然而,由于缺乏基准,对这些模型的评估仍不完善。为了解决这一差距,我们提出了CLongEval,这是一个评估长上下文LLM的综合中文基准。CLongEval的特点有三个:(1)数据量充足,包括7个不同的任务和7267个例子;(2) 广泛的适用性,适用于上下文窗口大小从1K到100K的模型;(3) 高质量,除了自动构建的标签外,还有2000多个手动注释的问答对。通过CLongEval,我们对6个开源长上下文LLM和2个领先的商业同行进行了全面评估,这些LLM既具有长上下文能力,又精通中文。我们还根据实证结果进行了深入分析,试图阐明在长期环境中提出挑战的关键能力。