优雅谈大模型：“System2”与“System 1”

System 1和System 2的思维来自丹尼尔·卡尼曼 （Daniel Kahneman）的《思考，快与慢》一书。里面介绍了两种不同的认知处理模式。System 1快速、自动且直观，几乎无需费力即可操作。这种思维模式使人类能够根据模式和经验做出快速决策和判断。相比之下，System 2是缓慢的、深思熟虑的和有意识的，需要有意识地努力。这种类型的思维用于复杂的问题解决和分析任务，在这些任务中需要更多的思考和考虑。

上下班途中，人总是知道该走哪条路线，而无需有意识地考虑。一般而言会自动走到地铁站，习惯性地在同一个站点下车，然后在你的思绪徘徊时走到你的办公室。假如某天地铁停了，那么就需要花费时间分析其他上班路线，以便选择最快的一条。公交车在运行吗？外面温度如何？走路可行？打车费用多少？两种情况的思维模式直观地体现了较慢的思维过程和瞬时思维过程之间的差异。

在这篇研究中，研究人员探索了三种System 2方法——RaR、S2A 和 BSM，这些方法已经成功提炼到新的LLM，这个新的模型与System 1相比，产生了更好的结果，而且成本低于System 2。然而这种方法是有局限性，只能适用于特定的任务或受限于模型训练的数据集。

大模型的业界已经提出了一系列相关的System 2技术，包括思维链（COT）、思维树、思维图、分支解决合并（BSM）、System 2 Attention（S2A）、Rephrase and Respond (RaR)等。得益于这种明确的推理，许多方法都显示出更准确的结果， 但这样做通常会带来更高的推理成本和响应延迟。因此此类方法未在生产系统中使用，而大多使用了System 1。