大型语言模型的推理能力：现实与幻想

在近几年的人工智能发展中，大型语言模型（Large Language Models, LLMs）无疑成为了最为瞩目的明星。它们能够生成优美、连贯的文字，对问题做出看似深思熟虑的回答，甚至能在某些情况下展示出令人惊叹的推理能力。然而，正如许多事物一样，表象下隐藏着复杂的局限与挑战。本文将深入探讨大型语言模型在推理方面的根本局限，并分析当前提升其推理能力的各种尝试。

🎲 随机性：推理的潜在敌人

让我们从语言模型的核心工作机制开始：概率预测。当模型生成文本时，它并不是像人类一样一步步推理，而是基于前面的词语预测下一个最可能的词。这种基于统计的生成方式，会带来一个显著的问题——随机性。

🧩 随机性导致的不一致性

即使给出同样的输入，模型的输出可能会有所不同。你可以通过将“温度”设置为零来降低这种随机性，从而让模型生成最有可能的输出。然而，即便如此，这种输出仍然只是基于概率的。换句话说，模型并没有真正地理解问题，也没有在严格意义上进行推理，它只是在给出概率最高的下一个词。这一特性在解决简单问题时可能并不明显，但当涉及复杂的推理链条时，模型的这种局限性就会暴露无遗。

例如