从openAI最新模型GPT-o1再谈思维链(Cot)技术，大模型该怎么提升其逻辑推理能力？

最新推荐文章于 2024-11-18 22:40:31 发布

小天才学习机打游戏

最新推荐文章于 2024-11-18 22:40:31 发布

阅读量2.7k

点赞数 25

文章标签： gpt 人工智能大数据数据库 oracle jvm

本文链接：https://blog.csdn.net/m0_59164520/article/details/142395324

版权

“ 推理能力是大模型迈向AGI的必经之路 ”

最近openAI发布了号称史上最强模型——o1，其具有强大的逻辑推理能力，号称能达到人类的博士生水平。

而从o1模型的评测来看，o1模型在数学竞赛，编码，科学问答等方面表现良好，甚至高出了GPT4o一大截。

而且，o1在物理，化学，生物，逻辑学等其它领域，相比GPT4o都得到了巨大的提升。

而据介绍o1模型之所以具有如此强大的逻辑推理能力，就是因为使用了思维链技术；当然，目前官方并没有公布o1的核心技术理论，因此也不排除o1模型使用了其它更加强大的逻辑推理技术。

大模型之思维链技术

简单来说，思维链技术就是模拟人类的思维方式，在面对复杂问题时，让大模型像人类一样思考，把复杂问题拆分成简单的步骤，然后通过调用工具一步一步地去完成。

而大模型还有哪些能够提升其逻辑推理能力的技术或方法？今天就来盘点一下提升大模型逻辑推理的黑科技。

初级推理技术

大模型初级推理技术的核心是，把大型复杂的任务，分解成一个一个的简单的小任务。

主要包括，思维链(CoT)，自洽性思维链(CoT-SC)，思维树(TOT-tree of thought)等技术。

思维链

思维链全称Chain of Thought，就是把任务进行拆解，适用于各种推理任务，比如数学，逻辑判断等，思维链的优点就是不用对模型进行训练和微调。

在思维链技术中，可能还会使用到零样本(zero-shot prompt)提示和少样本提示(few-shot prompt)等技术。

自洽性思维链

所谓的自洽性思维链，是指对同一个问题，生成多个不同的思维链技术，并让模型从中挑出最合适的方案。

思维链技术并不稳定，其效果取决于大模型的能力，而如果让大模型进行发散性思维，通过多种不同的方式解决问题，然后从中找到最优解，这就是自洽性思维链。

思维树

思维树(TOT)是对思维链(CoT)的进一步扩展，在思维链的每一步，推理出多个分支，拓扑展开成一棵思维树。使用启发式的方法评估每个推理分支对问题解决的贡献。

使用搜索算法，如广度搜索或深度搜索算法等来探索思维树，并进行前瞻和回溯。

中级推理技术

初级推理技术的优点是简单，缺点是结果不可控，推理过程与结果完全由大模型本身自由发挥，即使出错也没有纠错机制。

因此，以ReAct，Plan & Execute和Self Discover为代表的中级推理技术就出现了。

其会约束大模型的推理方向，并根据环境反馈进行纠错。

ReAct

ReAct全称Reasoning and Acting，意思就是推理与行动，来解决多样化的语言推理与决策任务。

其典型的流程是Thought-思考——Action-行动和Observation-观察；思考与行动都比较容易理解，观察其实就是一个反馈的过程，把任务执行的步骤记录下来进行观察，根据观察结果进行调整。

这样经过思考——行动——观察——再思考——再行动——再观察的过程，经过多次循环，最终达到目的。

Plan & Execute

Plan & Execute 方法的本质是先计划再执行，从名称就可以看出，计划 & 执行，通过把问题拆分成一个一个的子任务，根据情况调整执行计划。

Self-Discover

Self-Discover主要包含两个阶段：

阶段一：自发现特定任务的推理结构

阶段二：应用推理结构

高级推理技术——Reflexion 和 LATS

初级推理和高级推理虽然能解决一些简单的任务，但对一些更复杂，思维链路更长的任务就束手无策了。

因此，高级推理技术就出现了，Reflexion和LATS的核心思想就是通过强化学习的方式来解决更复杂的任务场景。

Reflexion

Reflexion 的本质是强化学习，它主要由三部分组成，参与者——Actor，评估者——Evaluator和自我反思——Self-Reflection。

Reflexion 旨在通过反思过去的错误，并把这些知识纳入未来的决策，用以帮助Agent提升表现能力。因此，Reflexion非常适合那种通过反复实验得到结果的任务，比如决策，推理，编程等。

LATS——Language Agent Tree Search

LATS技术全称是——Language Agent Tree Search，简单来说就是Tree search + ReAct + Plan&Execute+ Reflexion，因此可以说LATS技术是目前最强的推理技术，集百家之长。

这里的ReAct，Plan & Execute 和Reflexion在前面的内容中都简单介绍过，这里要再介绍一下Tree Search。

Tree Search是一种树搜索算法，LATS使用蒙特卡罗算法(MCTS)，通过平衡搜索找到最优决策路径。

大模型推理能力黑科技

https://www.msn.cn/zh-cn/news/other/openai%E6%9C%80%E5%BC%BA%E6%8E%A8%E7%90%86%E6%A8%A1%E5%9E%8Bo1%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83-%E4%B8%80%E8%B5%B7%E5%9B%9E%E9%A1%BE%E9%82%A3%E4%BA%9B%E6%8F%90%E5%8D%87%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86%E8%83%BD%E5%8A%9B%E7%9A%84%E9%BB%91%E7%A7%91%E6%8A%80/ar-AA1qAU2j?ocid=BingNewsSerp

总之，大模型的推理能力是迈向AGI的基础，也是Agent未来应用的基石。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述