论文浅尝 | 基于对多条思维链的元推理实现智能问答

笔记整理：屠铭尘，浙江大学硕士，研究方向为知识图谱

链接：https://arxiv.org/abs/2304.13007

1. 动机

1.1 Chain of Thought的诞生

• 尽管大语言模型在许多自然语言处理任务上表现出色，但由于其本质是token by token的类似“词语接龙”的生成方式，并不能理解词句的语义，就导致其在推理相关任务上有所限制，且有研究表明这种缺陷难以通过语言模型规模的扩大得到解决。

• 因此，Jason Wei等人在2022年发表了Chain-of-Thought Prompting Elicits Reasoning in Large Language Models这篇论文，首次提出了用“Chain of Thought(CoT)”（推理链）这种方法来对ChatGPT等模型进行提示，结果表明此方法可以显著提升模型应对推理任务的能力，这篇论文被称为Chain of Thought的开山之作。

1.2 Chain of Thought的发展

自从Chain of Thought这种推理链提示方法被提出，不断有研究者对这种方法进行了进一步改进。

（1）Chain of Thought 推理链提示（Jason Wei, et.al 2022）

即在原先Prompting（输入首先给一个示例问题和对应答案，再给一个相似问题，如上图左）的基础上，在给出示例答案的时候同时给出得到答案的推理过程。

研究显示这种方法能提升大语言模型在推理问题上的正确率。

（2）推理链+在线信息检索 (Harsh Tri