Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning

本文是LLM系列文章，针对《Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning》的翻译。

摘要

演绎推理在形成合理和连贯的论点中起着关键作用。它允许个人根据所提供信息的真实价值得出合乎逻辑的结论。大型语言模型（LLM）领域的最新进展已经展示了它们执行演绎推理任务的能力。尽管如此，很大一部分研究主要评估LLM在解决此类任务时的准确性，往往忽略了对其推理行为的更深入分析。在这项研究中，我们借鉴认知心理学的原理，通过详细评估LLM对命题逻辑问题的反应，来检验LLM所使用的推理策略。我们的研究结果表明，LLM显示出与人类相似的推理模式，包括假设跟随或链构建等策略。此外，我们的研究表明，模型的架构和规模会显著影响其首选的推理方法，更先进的模型往往比不太复杂的模型更频繁地采用策略。重要的是，我们断言，模型的准确性，即其最终结论的正确性，并不一定反映其推理过程的有效性。这一区别突出表明，有必要在实地采取更加细致的评价程序。

1 引言

2 命题推理中的策略

3 实验设置

4 结果和分析