背诵不等于理解，深度解析大模型背后的知识储存与提取

自然语言模型的背诵 (memorization) 并不等于理解。即使模型能完整记住所有数据，也可能无法通过微调 (finetune) 提取这些知识，无法回答简单的问题。

随着模型规模的增大，人们开始探索大模型是如何掌握大量知识的。一种观点认为这归功于 “无损压缩”，即模型通过大量训练，记忆更多内容以提高预测精度。但 “无损压缩” 真的能让大模型理解这些知识吗？朱泽园 (MetaAI) 和李远志 (MBZUAI) 的最新研究《语言模型物理学 Part 3.1：知识的储存与提取》深入探讨了这个问题。

论文地址：https://arxiv.org/pdf/2309.14316.pdf

对于人类，有句话叫 “书读百遍，其意自现”。这句话虽不适用于所有知识，但对于简单知识，只要我们能记住相关书籍，就能轻松回答相关问题。例如，只要我们记住古诗 “静夜思”，就能轻松回答 “诗里把月光比作了什么？”；只要我们记住百度百科关于 “出师表 / 创作背景” 那一段，就能轻松回答 “出师表的创作时间是什么？”。那么，大模型是