本文是LLM系列文章,针对《Meaningful Learning: Advancing Abstract Reasoning in Large Language Models via Generic Fact Guidance》的翻译。
有意义的学习:通过一般事实指导推进大型语言模型中的抽象推理
摘要
大型语言模型(LLM)在各种推理场景中都取得了令人印象深刻的性能和强大的可解释性,标志着向模仿类人智能迈出了重要一步。尽管如此,当任务是由一般事实支持的简单问题时,LLM往往无法提供一致和准确的答案,这表明抽象推理能力不足。这引发了一场激烈的争论,争论的焦点是LLM是真正的推理还是仅仅是记忆。有鉴于此,我们设计了一项初步研究,以量化和深入研究现有LLM的抽象推理能力。我们的发现揭示了他们的一般推理和抽象推理表现之间的巨大差异。为了缓解这个问题,我们定制了一个抽象推理数据集(AbsR)和一个有意义的学习范式,教LLM如何利用一般事实进行推理。结果表明,我们的方法不仅提高了LLM的一般推理性能,而且在抽象推理能力方面取得了相当大的进步,从简单的记忆或模仿转向对一般事实的更细致的理解和应用。