https://arxiv.org/pdf/2404.16966v2
这篇论文主要探讨了大型语言模型(LLMs)在基准测试中的评估问题,特别是关注了基准测试中提示的分布假设对模型评估的影响。
背景与动机:
大型语言模型(LLMs)在自然语言处理领域取得了显著进展,但它们的评估方法存在挑战。传统的评估方法通常假设基准测试中的提示是独立同分布(i.i.d.)的样本,这种假设可能不准确,因为实际应用中提示的分布可能因用例而异。因此,研究者们提出了研究LLMs评估的鲁棒性,特别是针对基准测试中提示的分布假设。
研究问题:
论文主要研究了以下问题:基准测试中的提示权重是否对模型的评估结果有显著影响;模型在不同提示上的表现是否相关;以及这种相关性是否由提示的语义相似性所驱动。
实验设置与方法:
- 基准测试选择:研究者选择了ANLI、HellaSwag、CommonsenseQA和CNN/Daily Mail四个不同的基准测试,覆盖了自然语言推理、常识推理和文本摘要等任务。
- 评估指标:对于二元结果的基准测试(如ANLI),使用平均准确率;对于连续结果的CNN/Daily Mail,使用ROUGE得分和余弦相似度。
- 模型选择:包括来自不同开发者的多种LLMs,如GPT、Llama和其他流行的模型。
- 方法:通过排列测试和线性回归分析来评估提示性能向量之间的相关性,以及语义相似性与模型表现相似性之间的关系。
主要发现:
- 模型在不同提示上的表现是显著相关的,尤其是ANLI和CommonsenseQA。
- 在某些情况下,改变提示的权重可以显著改变模型的相对排名。
- CNN/Daily Mail显示出语义相似性与模型表现相似性之间的显著关系,而其他基准测试则没有。
- 提示的语义相似性可能是模型表现相似性的因素之一,但更可能源于LLMs的共同失败点。
结论与未来工作:
- 论文得出结论,基准测试中的分布假设对LLMs的评估有显著影响,且非均匀权重的使用可能会显著改变模型间的比较结果。
- 提出了一种新的方法来评估基准测试的鲁棒性和适当性,通过分析多个LLMs在主要基准测试上的表现。
- 未来的工作可能包括开发更全面的去偏见方法,识别其他可能解释模型表现相关性的因素,并利用这些信息来改进基准测试的设计。
局限性:
- 研究需要访问多个LLMs,这可能在计算上非常昂贵,并需要GPU资源。
- 提供全面的去偏见方法不在当前工作范围之内。
- 研究仅触及了为什么不同LLMs在多个提示上的表现相似的表面,还有许多其他因素需要进一步探索。