大模型自身无法推理/规划！ASU | 提出LLM-Modulo框架，可充分发挥LLMs潜力！

本文链接：https://blog.csdn.net/AAI666666/article/details/138337126

文章探讨了大语言模型在规划和推理任务中的能力局限，提出LLM-Modulo框架，通过结合LLMs与外部验证器，实现更有效的规划。作者强调合理利用模型，避免过度乐观或悲观，将其视为外部记忆库和辅助思考工具。

摘要由CSDN通过智能技术生成

引言

对于大语言模型的规划和推理能力，不同的人有不同的看法。一种是过于乐观，认为只要采用合适的提示策略，LLMs就能完成这些任务；另一种是过于悲观，LMs 在规划/推理任务中的唯一好处就是将问题从一种句法格式翻译成另一种，真正解决问题还得靠外部符号求解器。

「本文作者核心观点是：大语言模型（LLMs）自身无法进行规划推理」，但是却能在解决规划问题上发挥积极的作用。为此，作者还提出了一个新的LLM-Modulo框架，这个框架把大型语言模型和一些外部的验证工具结合起来，使LLMs在规划任务中发挥了重要作用。

https://arxiv.org/pdf/2402.01817.pdf

背景介绍

LLMs本质上是在大规模语料库上训练的加强版n-gram模型，模型效果引起了AI研究社区的关注。它们多才多艺，让人们不禁怀疑它们是否能够完成与System2相关的计划和推理任务（如下图所示）。然而，从它们的训练、工作方式来看，LLMs更像是一个巨大的伪系统，纯粹的工程角度来看，「一个系统如果只是持续不断地产生下一个Token，那么它不可能在其内部进行有原则的推理」。

不出所料关于LLMs在推理任务上的表现，在最近的一系列研究中有所减退。有些研究人员质疑了LLMs在规划、逻辑推理、心理咨询等方面的稳健性。尽管如此，在很多文献中，关于LLMs在规划、推理等方面的主张仍然络绎不绝。与此同时，对于LLMs在规划、推理等任务中所扮演的角色，也存在不合理的悲观态度。例如，有的研究主张仅将LLMs作为高级翻译器使用，即将嵌入文本的推理问题转换为符号表示，然后交给外部的符号求解器处理。

事实上，LLMs不仅仅是机器翻译器。它们更像是一种基于我们集体意识训练出来的知识源。虽然它们不太可能拥有系统2的能力，但它们仍然可以成为解决系统2任务的宝贵资源。换句话说，过去炼金术的问题不是化学本身无用，而是人们误以为只要稍微调整一下，化学就能变成更高级的核物理学。这和现在人们对LLMs的期望有点像，「有时候我们忽视了它们真正擅长的事情，有时候又错误地认为它们能做到一些它们实际上做不到的事」。

本篇文章的目的是想让大家对LLMs有个更清晰的认识，不要过于乐观也不要过于悲观。作者们认为，如果使用得当，LLMs就像是强大的外部记忆库，能帮人或机器Agent在思考和解决问题时提供辅助。这些模型很擅长发现不同领域之间的联系和类比。为此，「本文提出了LLM-Modulo框架，就是想解决如何正确利用LLMs的挑战，让它们在不夸大能力的前提下，发挥出最大的作用」。

Why LLMs Cant’t Plan

文中作者关于LLMs不能进行规划的原因进行总结，主要有以下4点：

「自主模式下的局限性」：LLMs在自主模式下（即没有外部验证或提示的情况下）并不能生成可执行的规划。即使是最先进的LLM（如GPT-4），在没有错误并达到目标的情况下生成的规划平均只有约12%是可用的。这表明LLMs可能只是做近似的规划检索，而不是真正的规划。

「无法自我验证」：LLMs无法验证自己生成的规划，因此无法通过自我批评来改进。尽管有人认为即使LLMs不能一次性生成正确的解决方案，通过迭代提示，它们可能会通过“自我批评”来提高准确性。但研究表明，LLMs在验证解决方案方面并不比生成解决方案表现得更好。

「知识获取与执行规划的混淆」：文章指出，许多声称LLMs具有规划能力的论文实际上混淆了从LLMs中提取的一般规划知识与可执行规划之间的区别。规划任务需要不仅仅是规划领域知识，还需要能够将这些知识组装成一个可执行的规划，考虑到子目标/资源的相互作用。LLMs通常在提取规划知识方面做得很好，但这并不意味着它们能够生成可执行的规划。

「对自我改进的误解」：有研究声称LLMs可以通过生成规划、自我批评规划然后使用这些规划来自我改进（例如通过生成合成数据来微调自己）。然而，由于LLMs无法验证自己的解决方案，这种自我改进的方法实际上是不可行的。

LLM-Modulo

基于以上理解，本文作者提出了LLM-Modulo框架（如下图所示），旨在结合LLMs的长处和外部基于模型的验证器的优势，通过更紧密的双向交互机制，使LLMs在规划任务中发挥更有意义的角色。

如上图所示，LLM-Modulo框架的基础架构是一个生成-测试-批评循环。具体来说，框架通过让LLMs生成候选规划，并利用一系列外部验证器对这些规划进行评估和反馈，确保了规划的准确性和可靠性。L**「LMs在生成创意和潜在解决方案方面表现出色，而外部验证器则严格检查规划是否满足所有必要的约束条件」**。这种结合神经网络和符号逻辑的方法，不仅提高了规划任务的准确性，还增强了框架的灵活性和扩展性，使其能够适应各种不同的规划场景。

LLM-Modulo框架的一个关键优势是它**「支持人机协作」**。领域专家在整个过程中发挥着至关重要的作用，他们的知识用于指导和细化LLM生成的规划，确保规划符合实际需求和约束。此外，通过微调过程，LLM可以从每次成功的规划中学习，逐渐提高其生成高质量规划的能力。这种持续学习和适应的能力，使得框架能够处理复杂的规划问题，包括那些包含不确定性和动态变化的问题。

LLM-Modulo框架**「避免了完全依赖LLMs的局限性」**，因为最终的规划验证是由外部验证器完成的。这种方法不仅确保了规划的正确性，还允许LLMs在自主模式下，同时通过外部验证器的反馈进行迭代改进。通过这种方式，LLM-Modulo框架能够有效地利用LLMs在规划任务中的潜力，同时确保规划的质量和正确性，为AI在复杂规划任务中的应用提供了一个强有力的框架，尤其是在需要高度可靠性和精确性的领域。

总结

本篇文章，其实作者想要表明：别太乐观也别太悲观看待那些大语言模型在规划和推理上的能力。作者认为这些模型自己是不会规划的，但是它们能够提供辅助，特别是在LLM-Modulo框架中，LLMs能提供关联知识，还能提出一些可能的计划。该框架结合了LLMs的长处和外部基于模型的验证器的优势，通过更紧密的双向交互机制，使LLMs在规划任务中发挥更有意义的角色。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

在这里插入图片描述