上海工程技术大学：结构化数据增强LLM推理

📖标题：STRUCT-X: Enhancing Large Language Models Reasoning with Structured Data
🌐来源：arXiv, 2407.12522

🛎️文章简介

🔸研究问题：如何在大语言模型（LLM）中有效利用结构化知识图谱（KG）以增强其推理能力。
🔸主要贡献：论文提出了一个名为STRUCT-X的框架，通过编码知识图谱的层次关系和信息，为LLM提供有针对性的辅助以增强交互和复杂推理能力。

📝重点思路

🔺相关工作

🔸结构化数据（如知识图谱）提供了丰富的实体关系和层次知识，可能显着增强LLM的推理能力，从而得出更精确和可靠的推论。
🔸当前LLM利用结构化知识的常见的方法是将其扁平化为冗长的文本序列，但会引入冗余信息损害推理效率和准确性。
🔸LLM倾向于优先考虑上下文中呈现的显式语义连接而忽略隐式连接，这对于增强推理性能至关重要。

🔺论文方案

🔸知识获取：通过"读取-模型-填充"过程，将结构化数据转换为拓扑空间，获取识图谱的语义和结构信息编码，并填充图谱缺失信息。
🔸信息检索：利用知识检索模块增强不完整实体信息，并提出Self-Reg的自检索生成模块消除无关令牌。
🔸高效推理：通过专用图形编码器捕获图谱内实体之间的语义和结构交互，压缩嵌入并保留关键令牌交互，提高LLM推理效率。
🔸动态调整：设计辅助模块根据当前损失动态调整提示，以增强LLM生成答案的连贯性。

🔎分析总结

🔸STRUCT-X在多个数据集上持续优于现有基线方法，准确率和精确度都有提升。
🔸STRUCT-X的每个组件在增强各种推理能力方面发挥着至关重要的作用。
🔸局限性依旧存在，知识图编码可能无法完全捕获结构拓扑之外的复杂关系，辅助模块的提示可能会因当前的损失情况而过度偏差。

💡个人观点

论文的创新点是通过结构化数据的拓扑结构增强LLM的复杂推理能力。

附录