基于PlanRAG的决策问答：利用大型语言模型进行复杂决策制定

最新推荐文章于 2024-09-17 16:52:57 发布

Python编程杰哥

最新推荐文章于 2024-09-17 16:52:57 发布

阅读量660

点赞数 18

文章标签：语言模型人工智能自然语言处理 langchain ide llama microsoft

本文链接：https://blog.csdn.net/xx_nm98/article/details/141231009

版权

KAIST的研究人员提出了一种名为PlanRAG的新方法，该方法通过将规划和重新规划步骤纳入检索增强生成过程，使大型语言模型能够分析结构化数据和业务规则，从而做出最佳决策。

论文介绍

决策对于组织至关重要，涉及数据分析和选择最合适的方案以实现特定目标。在诸如药品分销网络之类的商业场景中，公司面临着复杂的决策，例如确定要运营哪些工厂，雇用多少员工以及如何在确保及时交货的同时优化生产成本。传统上，决策任务需要三个步骤：规划必要的分析，检索相关数据以及根据该数据做出决策。虽然已经开发了决策支持系统来辅助后两个步骤，但是规划所需分析的关键的第一步仍然是一个人工驱动的过程。在当前的方法中，使此步骤自动化并在无需人工干预的情况下实现端到端决策面临着重大挑战。

研究人员开发了各种基准来评估涉及结构化数据的自然语言处理 (NLP) 任务，例如表自然语言推理 (NLI) 和表格问答 (QA)。这些基准评估了对表格数据进行推理并根据提供的信息回答问题或确定假设有效性的能力。但是，这些基准不考虑业务规则或语言模型 (LM) 查询大型结构化数据库的能力，这限制了它们在现实世界决策场景中的适用性。此外，还探索了诸如检索增强生成 (RAG) 之类的技术，通过允许 LM 检索外部数据并将其合并到其响应中来增强 LM。尽管这些方法在需要多跳推理的任务上显示出可喜的结果，但它们在有效解决复杂决策任务方面仍然面临局限性。

来自韩国科学技术院 (KAIST) 计算机学院的研究人员提出了一项名为决策问答 (Decision QA) 的新任务，该任务旨在使 LM 能够通过分析结构化数据和业务规则来做出最佳决策。决策 QA 是一项类似于问答的任务，它将数据库、业务规则和决策问题作为输入，并生成最佳决策作为输出。为了促进这项任务，研究人员引入了一个名为 DQA 的基准测试，该基准测试包含两种场景：定位和构建。定位场景涉及有关资源的最佳放置的问题（例如，在哪里放置商家），而构建场景则处理与资源分配相关的问题（例如，要向工厂提供多少资源）。该基准测试是使用从模拟现实世界业务情况的策略视频游戏中提取的数据构建的。

所提出的方法称为 PlanRAG（先计划后检索增强生成），它扩展了现有的迭代 RAG 技术，以更有效地处理决策 QA 任务。PlanRAG 的关键组成部分如下：

规划：LM 将决策问题、数据库模式和业务规则作为输入，并生成一个初始计划，描述决策所需的一系列数据分析。
检索和回答：与传统的 RAG 不同，LM 将初始计划以及问题、模式和规则结合在一起。它根据计划生成数据分析查询，在数据库上执行它们，并对结果进行推理，以确定是否需要重新计划或进一步检索以进行更好的决策。
重新计划：如果初始计划不足，则 LM 会评估当前计划和查询结果，并生成用于进一步分析的新计划或纠正先前分析的方向。

规划、检索和回答以及重新计划步骤迭代执行，直到 LM 确定无需进一步分析即可做出决策。此迭代过程在生成的计划的指导下，允许 PlanRAG 通过不断完善其分析方法来有效地处理复杂的决策任务。

与最先进的迭代 RAG 技术相比，PlanRAG 方法显着增强了语言模型的决策性能。PlanRAG 擅长处理简单和复杂的决策问题，在定位场景中的表现优于现有方法 15.8%，在构建场景中的表现优于现有方法 7.4%。它的优势在于系统规划和数据检索，从而大大降低了遗漏关键数据分析的比率。PlanRAG 在关系数据库和图数据库中均表现出卓越的性能，尤其是在需要对图数据库进行多跳推理的复杂场景中表现出色。

这项研究探索了大型语言模型 (LLM) 在复杂决策任务中的应用。研究人员提出了决策问答 (Decision QA)，这是一项新任务，要求 LLM 通过考虑来自大型数据库的业务规则和情况来生成最佳决策。他们使用从模拟现实世界情况的视频游戏中提取的 301 个决策场景创建了 DQA 基准测试。此外，他们还介绍了 PlanRAG，这是一种将规划和重新规划步骤纳入检索增强生成过程的联合技术。大量实验表明，PlanRAG 在 DQA 基准测试中比最先进的方法具有显着的性能改进，突出了其在涉及 LLM 和结构化数据的决策应用中的有效性。

论文下载

论文地址：https://arxiv.org/abs/2406.12430
Github地址：https://github.com/myeon9h/PlanRAG

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述