大语言模型的事实知识:一个全面的评估

大语言模型(LLMs)近年来在自然语言处理领域掀起了一场革命。它们在预训练和指令微调过程中获得的事实知识,为问答、语言生成等下游任务带来了显著的性能提升。然而,与传统的知识库不同,LLMs是以隐式的方式将事实存储在模型参数中。这种方式可能导致LLMs生成的内容出现不准确或与事实不符的情况,因为某些事实可能被错误地推导出来,或者随着时间的推移变得过时。

为了系统地评估LLMs的事实知识及相关推理能力,研究人员开发了Pinocchio基准测试集。这个测试集包含20,713个多项选择题,涵盖了7个不同难度的任务,旨在全面检验LLMs在事实知识方面的表现。

🌟 Pinocchio基准测试集的设计

Pinocchio基准测试集的设计基于以下几个关键问题:

1. LLMs能否组合多个事实?
2. LLMs能否处理结构化和非结构化的证据?
3. LLMs能否识别事实随时间的变化?
4. LLMs能否识别细微的事实差异?
5. LLMs能否抵抗对抗性示例?

为了回答这些问题,研究人员精心设计了7个子任务:

1. 🧩 多方面事实任务

这个任务旨在测试LLMs是否能够存储和推理多个来自预训练数据的事实。研究人员从FEVER数据集中选择了一些声明,这些声明需要从一个或多个维基百科文章中提取多个事实来验证。通过控制所需证据的数量,研究人员可以对LLMs的表现进行细粒度的分析。

2. 📊 结构化知识任务

这个任务测试LLMs是否能有效地记忆和推理来自结构化数据源的事实。研究人员使用FEVEROUS数据集,其中包含表格、句子或两者兼有的证据。这可以帮助研究人员了解LLMs处理结构化数据的能力。

3. 🎭 对抗性任务

为了测试LLMs对对抗性示例的鲁棒性,研究人员使用了Symmetric和FM2数据集。这些数据集包含使用各种策略精心制作的对抗性示例,如时间推理和转移到不相关事实等。

4. ⏳ 时间性任务

事实并非一成不变,而是具有动态性质。这个任务使用VitaminC数据集,其中包含基于维基百科文章事实内容修改而成的声明。这些声明可能被过时的事实驳斥,也可能被更新的事实支持。

5. 🌍 真实世界任务

验证网络上流传的声明往往需要各种来源的事实知识,以及常识和世界知识。研究人员从FactCheck数据集中选择了一些在互联网上传播并经过记者验证的声明,以测试LLMs整合多样化知识类型和来源的能力。

6. 🔬 领域特定任务

除了通用领域的事实知识,研究人员还关注LLMs在特定领域的表现。他们从PubHealth(公共卫生领域)和SciFact(科学领域)数据集中抽取了一些声明,以测试LLMs在这些专业领域的表现。

7. 🌐 多语言任务

考虑到现有的LLMs主要在英语语料上训练,研究人员希望探究LLMs是否能将英语中获得的事实知识迁移到其他语言。他们从XFACT和CHEF数据集中收集了27种不同语言的声明。

🔍 实验设计与结果分析

研究人员评估了10个可访问的LLMs,包括不同训练阶段(预训练、指令微调、人类反馈强化学习)的模型,涵盖了不同组织和规模的模型。他们采用了四种提示策略:零样本、零样本思维链、少样本和少样本思维链。

主要实验结果显示:

1. 经过指令微调和人类反馈强化学习的模型表现普遍更好,平均比未经指令微调的模型高16.0%。
2. 使用少样本设置的结果显著优于零样本设置,特别是对于未经人类反馈强化学习的模型,平均提高了7.3%。
3. 思维链方法对经过指令微调和人类反馈强化学习的模型有相对的性能提升,平均提高2.1%。
4. 模型参数量的增加与事实问题的表现呈正相关,参数量更大的模型能存储更多世界知识,具有更强的事实知识识别能力。

在不同任务上的表现分析显示:

1. LLMs在真实世界、领域特定知识和多语言任务上的表现相对较差,比其他四个任务平均低6.4%。
2. 多跳推理分析显示,随着推理链的延长,LLMs的表现呈下降趋势。
3. 结构化知识分析表明,当证据涉及结构化数据时,LLMs的表现明显下降(平均-5.5%),反映出LLMs在从结构化表格中提取知识方面的局限性。
4. 时间性分析显示,LLMs在处理过时数据和更新数据时存在性能差异,反映出LLMs缺乏获取实时、最新知识的能力。
5. 对抗性分析表明,经过对抗性攻击后,LLMs的表现显著下降,尤其是对于人工修改或创建的对抗性问题。
6. 标签粒度分析显示,从粗粒度到细粒度的转变会导致性能显著下降(-23.83%),反映出LLMs在精确评估事实问题可信度方面的挑战。
7. 多语言任务分析表明,使用与问题相同语言的提示可以提高LLMs的跨语言迁移能力。

💡 启示与未来方向

Pinocchio基准测试集的研究结果为我们提供了以下重要启示:

1. LLMs在事实知识方面仍存在显著挑战,特别是在处理结构化数据、多跳推理、时间敏感信息和对抗性示例方面。
2. 提示策略的选择对LLMs的表现有重要影响。少样本设置和思维链方法可以在一定程度上提升模型性能。
3. 模型规模与事实知识能力呈正相关,但仍需要更多的研究来探索如何更有效地利用和组织这些知识。
4. LLMs在特定领域和多语言环境下的表现需要进一步改进,这可能需要更有针对性的训练数据和方法。
5. 对抗性示例和细粒度标签的研究结果提示我们,LLMs的鲁棒性和精确性还有很大的提升空间。

未来的研究方向可能包括:

1. 探索更有效的知识表示和组织方法,以提高LLMs的事实准确性和推理能力。
2. 开发针对结构化数据和多跳推理的专门训练技术。
3. 研究如何使LLMs更好地适应时间变化的事实,可能需要引入持续学习或知识更新机制。
4. 提高LLMs在对抗性环境下的鲁棒性,可能需要结合对抗训练等技术。
5. 改进LLMs在特定领域和多语言环境下的表现,可能需要更有针对性的预训练数据和方法。
6. 探索如何将外部知识库与LLMs有机结合,以增强模型的事实知识和推理能力。

总的来说,Pinocchio基准测试集为我们提供了一个全面评估LLMs事实知识能力的工具。通过深入分析模型在不同任务和设置下的表现,我们可以更好地理解LLMs的优势和局限性,从而为未来的研究和应用指明方向。随着研究的深入,我们期待看到LLMs在事实知识和推理能力方面取得更大的突破,为实现可信赖的人工智能迈出重要一步。

📚 参考文献

1. Petroni, F., et al. (2019). Language Models as Knowledge Bases?. In Proceedings of EMNLP-IJCNLP 2019.

2. Lin, S., et al. (2022). TruthfulQA: Measuring How Models Mimic Human Falsehoods. In Proceedings of ACL 2022.

3. Kadavath, S., et al. (2022). Language Models (Mostly) Know What They Know. arXiv preprint arXiv:2207.05221.

4. Elazar, Y., et al. (2021). Measuring and Improving Consistency in Pretrained Language Models. Transactions of the Association for Computational Linguistics.

5. Cao, B., et al. (2021). Knowledgeable or Educated Guess? Revisiting Language Models as Knowledge Bases. In Proceedings of ACL 2021.