Evaluating Declarative and Procedural Knowledge in Datasets and Large Language Models

本文是LLM系列文章，针对《Meta-Cognitive Analysis: Evaluating Declarative and Procedural Knowledge in Datasets and Large Language Models》的翻译。

摘要

陈述性知识和程序性知识是元认知理论中的两个关键部分，这两个部分在LLM的预训练和推理中具有重要意义。然而，主要由于定义、探究和定量评估方面的挑战，缺乏对这两类知识进行全面比较的分析。在本文中，我们从一个新的角度进行了探索，为LLM提供了基础知识并评估了有效分数。通过对广泛使用的数据集和模型进行广泛的实验，我们得出结论：（1）在大多数任务中，声明性知识的收益大于过程性知识。（2） 只有在具有简单逻辑的推理任务中，程序性知识的利润才大于声明性知识。（3） 随着预训练的进展和规模的增加，模型利用这两种知识的能力显著提高，但速度不同。我们对研究结果进行了详细的分析，这可以为评估和增强大型语言模型提供初步指导。

1 引言

2 相关工作

3 元认知分析方法

4 发现

5 结论

<