【CoT】《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》- 知识点目录

《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》

摘要

本文探索如何生成一个chain of thought（思维链）——即一系列中间推理步骤——如何显著提高大型语言模型执行复杂推理的能力。特别地，本文展示了这种推理能力如何通过名为 chain-of-thought prompting的简单方法，自然地出现在大型语言模型中，其中提供了一些思维链演示作为提示词的示例。
对三种大型语言模型地实验表明，CoT prompting 可以提高在多种算术、常识和符号推理任务上的性能。（empirical）实证收益十分显著。例如：PaLM 540B 在仅八个CoT范例的提示下，就可以在GSM8K数学词汇题基准上达到最先进的精度，甚至超过带有验证器的微调 GPT-3。

1 引言

近期自然语言处理（NLP）领域被语言模型（Peters_2018_ELMo; Devlin_2019_BERT; Brown_2020_GPT3, inter alia）的革新深深影响。扩大语言模型的规模已被证明可以带来一系列的好处，如提升性能和样本效率（Kaplan_2020_Scaling_Laws_for_LM; Brown_2020_GPT3, inter alia）。然而，仅仅扩大模型规模并不足以在挑战性任务如算术、常识和符号推理等方面取得高性能（Rae_2021_Gopher）。

本文探索了如何通过一个简单的方法来解锁LLM的推理能力，此方法受到两种思想的启发。其一，算术推理技术可以从 generating natural language rationales 中受益，从而可以引导出最终的答案。