苹果发表了《大型语言模型能否理解上下文》论文?
论文页面: https://huggingface.co/papers/2402.00858
理解上下文是理解人类语言的关键,这是大型语言模型(LLMs)越来越多地展现出的一个能力。然而,尽管LLMs的评估涵盖了自然语言处理领域内的各个领域,但对探究它们理解上下文特征的语言能力的关注却有限。本文通过调整现有数据集以适应生成模型的评估,引入了一个上下文理解基准。这个基准包括四个独特的任务和九个数据集,所有这些都包含了设计用于评估模型理解上下文能力的提示。首先,我们在上下文学习预训练场景下评估LLMs的性能。实验结果表明,与最先进的微调模型相比,预训练的密集模型在理解更微妙的上下文特征方面存在困难。其次,由于LLM压缩在研究和实际应用中越来越重要,我们评估了在上下文学习设置下量化模型的上下文理解能力。我们发现,3位后训练量化会导致我们基准测试中性能降低的程度不同。我们对这些情景进行了广泛的分析,以证实我们的实验结果。
苹果最新论文 | 大模型能够理解上下文吗
最新推荐文章于 2024-09-09 21:55:53 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)