苹果最新论文 | 大模型能够理解上下文吗

苹果发表了《大型语言模型能否理解上下文》论文？
论文页面: https://huggingface.co/papers/2402.00858
理解上下文是理解人类语言的关键，这是大型语言模型（LLMs）越来越多地展现出的一个能力。然而，尽管LLMs的评估涵盖了自然语言处理领域内的各个领域，但对探究它们理解上下文特征的语言能力的关注却有限。本文通过调整现有数据集以适应生成模型的评估，引入了一个上下文理解基准。这个基准包括四个独特的任务和九个数据集，所有这些都包含了设计用于评估模型理解上下文能力的提示。首先，我们在上下文学习预训练场景下评估LLMs的性能。实验结果表明，与最先进的微调模型相比，预训练的密集模型在理解更微妙的上下文特征方面存在困难。其次，由于LLM压缩在研究和实际应用中越来越重要，我们评估了在上下文学习设置下量化模型的上下文理解能力。我们发现，3位后训练量化会导致我们基准测试中性能降低的程度不同。我们对这些情景进行了广泛的分析，以证实我们的实验结果。