一文详解-大模型思维链是什么？

最新推荐文章于 2024-08-21 19:04:43 发布

嘴巴吃糖了

最新推荐文章于 2024-08-21 19:04:43 发布

阅读量1.8k

点赞数 14

文章标签：人工智能语言模型 ai agi 机器学习深度学习

本文链接：https://blog.csdn.net/YoungOne2333/article/details/140949626

版权

什么是思维链？

思维链（Chain of Thought，CoT），在人工智能领域，是一个非常新颖的概念。我们在日常生活中，比如工作、学习经常用到的思维导图，通过详细的分析步骤，逐步推理问题的过程。这种步骤分解的方式用在提示学习中，就被称为思维链提示，好像AI有了人的意识一样，AI不再做“填空题”，而是做分析题，把将大语言模型的推理过程分步骤详细说清楚，直观的展示出来，引导模型生成更准确、更有逻辑性的答案。

强大的逻辑推理是大语言模型“智能涌现”出的核心能力之一，而推理能力的关键在于——思维链（Chain of Thought，CoT），Cot可以说是打破了大语言模型能力局限性的点睛之笔。

近年来，随着计算能力的不断提升，大语言模型如雨后春笋般涌现，例如GPT，文言一心， DBRX等。而随着语言模型规模的不断扩大，展现出了许多令人惊喜的能力，如文本摘要、问答、翻译等。尽管人工智能领域在大模型下了很大功夫，但类似GPT应用的翻车问题也是频频发生，我们会发现GPT在学习的过程中还是严重的偏科的，大多都是数学算术题、逻辑思考题等需要精确推理的问题，而这正是思维链能够重点解决的。换句话说，只有解锁了思维链技术，大语言模型才有可能在这场“百模大战”中“涌现”。

2022年，在Google发布的论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》中首次提出，如何生成思维链——显著提高大型语言模型执行复杂推理的能力。而这一系列推理的中间步骤就被称为思维链（Chain of Thought）。区别于传统的 Prompt 从输入直接到输出的映射 <input< span=“”>——>output> 的方式。chain of thought（Cot）是结合“rationale-augmented”和“few-shot”的长处，提出来一种“few-shot prompting”的方式，其中， Cot的意思是自然语言形式的中间推理步骤。它的prompt形式为（input，chain of thought，output）的三元组。

CoT 这一重要技术，如何才能让大模型具备真正的智慧？

在解释 CoT的作用前，不妨来看个论文展示的结果：

Cot方法很简单，它鼓励大语言模型解释其推理过程，其实是在模拟人类解决问题的过程，就是把一个多步骤推理问题，分解成很多个中间步骤，通过多个中间步骤来走向最终的答案。在解数学问题上，同样使用 PaLM 这个 540B 的超级 LLM，CoT 的表现是传统 prompting 的300%以上。除此之外，它还能解决其他很多问题，如常识推理、Last Letter Concatenation（最后一个字母串联）和 coin flip（抛硬币）等。

这就引出了“思维链提示”的方法，通过生成一系列中间推理步骤或思维链来提高法LLM 的复杂推理能力。 有了思维链提示的加持，大模型的逻辑推理能力瞬间不一样了。比如，常识推理能力赶超人类，并且可以解决那些需要精确的、分步骤计算的复杂数学问题，其次推理能力有了更加清晰的逻辑链路，提供了一定的可解释性，变得更加可信。

论文里的数学题就是典型的例子，如下图，左边的模型是无法推算复杂的数学问题的，但像右边如果我们给模型一些解题思路，就像老师教我们做数学题一样，先解题过程和思路列出来，我们再去举一反三，就轻而易举了。