华为：LLM通过图进行路径推理

📖标题：Path-of-Thoughts: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models
🌐来源：arXiv, 2412.17963

🌟摘要

🔸大型语言模型（LLM）拥有丰富的语义知识，但经常难以完成复杂的推理任务，特别是在亲属关系或空间推理等关系推理问题上。
🔸在本文中，我们提出了思想路径（PoT），这是一种新的框架，旨在通过将任务分解为三个关键阶段来解决关系推理问题：图提取、路径识别和推理。与以前的方法不同，PoT有效地提取了一个与任务无关的图，该图标识了问题上下文中的关键实体、关系和属性。随后，PoT在图中识别出与所提问题对应的相关推理链，从而促进对潜在答案的推理。
🔸对四个需要长推理链的基准数据集的实验评估表明，PoT在不需要微调或大量LLM调用的情况下，以显著的优势（最多21.3%）超过了最先进的基线。此外，与之前的神经符号学方法相反，PoT通过利用图的组合性质，对LLM错误表现出更好的弹性。

🛎️文章简介

🔸研究问题：大语言模型（LLM）在多跳关系推理任务中存在浅层推理和错误提取问题。
🔸主要贡献：论文提出了Path-of-Thoughts（PoT）框架，通过图提取、路径识别和推理三个阶段，显著提升了关系推理任务的性能，并增强了模型对噪声的鲁棒性。

📝重点思路

🔸图提取：使用LLM从文本故事中提取实体和关系，构建图结构。
🔸路径识别：在图结构中识别所有可能的推理路径，连接查询的源节点和目标节点。
🔸推理：对每条推理路径，调用外部推理器（如符号求解器或LLM）来推断目标关系。
🔸实验验证：在多个基准数据集上进行实验，验证PoT框架的有效性和鲁棒性。

🔎分析总结

🔸性能提升：PoT框架在多个数据集上显著优于现有的基线方法，尤其是在需要长推理链的任务中。
🔸鲁棒性增强：PoT框架对LLM提取错误和噪声关系表现出较强的鲁棒性，能够通过探索多条推理路径来缓解错误的影响。
🔸模块贡献分析：实验表明，图提取和路径识别模块对整体性能有重要贡献，识别关键关系和推理路径的顺序对有效推理至关重要。

💡个人观点

论文的核心就是在推理前，先识别出实体关系构建出一个图，然后在图上把所有潜在路径都跑一次。

🧩附录