【2024】LARK-通过知识图谱增强大模型复杂逻辑推理

最新推荐文章于 2024-09-29 22:27:37 发布

Kakaxiii

最新推荐文章于 2024-09-29 22:27:37 发布

阅读量699

点赞数 30

文章标签：知识图谱人工智能

本文链接：https://blog.csdn.net/Kakaxiii/article/details/142234286

版权

《Complex Logical Reasoning over Knowledge Graphs using Large Language Models》

上篇综述提到：LARK将复杂的知识图谱推理转化为上下文知识图谱搜索和逻辑查询推理的组合

来源：CHOUDHARY N， REDDY C K. Complex logical reasoning over knowledge graphs using large language models［EB/OL］. 2023： arXiv： 2305.01157. DOI： 10.48550/arXiv.2305.01157. [百度学术]

1.总结

作者为来自弗吉尼亚理工大学计算机科学系的 Nurendra Choudhary 和 Chandan K. Reddy，该论文提出了一种利用大型语言模型（LLM）进行知识图谱（KG）复杂逻辑推理的新方法 LARK。

1. 研究背景

对大规模、噪声和不完整的知识图谱进行推理是 AI 研究中的基本且具有挑战性的问题。
当前方法在处理复杂查询和数据集通用性方面存在局限性，且训练时间长、可扩展性有限。

2. 相关工作

逻辑推理：早期方法专注于捕获实体语义信息和关系操作，后续研究通过新的几何模型来编码知识图谱中的空间和层次信息，同时一些方法通过答案组合来改善复杂推理任务的性能，还有一些研究利用知识图谱邻域来增强问答技术的性能。但这些方法主要集中于增强 KG 表示以进行逻辑推理。
LLM 推理提示：近期研究表明 LLM 可以通过上下文提示学习各种 NLP 任务，并成功应用于多步推理任务。一些研究通过提供中间推理步骤或组合多个 LLM 来执行多步推理，还有一些研究采用分解提示策略来提高性能，但这些方法没有利用先前答案来指导后续查询，而 LARK 在这方面具有独特性。

3. 方法

问题定义：解决知识图谱上的逻辑推理问题，考虑投影（p）、交集（∧）、并集（∨）和否定（¬）四种基本的一阶逻辑（FOL）操作，对于给定查询类型 τ 和输入 Qτ，能从实体集 E 中有效地检索 Vτ。
邻域检索和逻辑链分解：
- 查询抽象：将知识图谱和查询中的所有实体和关系替换为唯一 ID，以提高 LLM 效率、避免模型幻觉并确保通用性，且实验表明对整体性能影响可忽略不计。
- 邻域检索：通过对查询中实体和关系进行 k 级深度优先遍历，确定查询的 k 级邻域，从而识别包含答案的相关邻域，无需 LLM 处理整个知识图谱。
- 逻辑查询链分解：将复杂的多操作查询分解为多个单操作查询，以降低查询复杂性，提高 LLM 在处理复杂查询时的性能。
链推理提示：使用提示模板将邻域转换为上下文提示，将分解的查询转换为问题提示。某些查询的答案依赖于先前查询的响应，通过在依赖查询中维护占位符和临时缓存来解决，并保持查询的并行性。
实现细节：在 Pytorch 中使用八个 Nvidia A100 GPU 实现 LARK，选择 Llama2 模型，依赖混合精度版本和 Deepspeed 库进行高效推理，设置深度限制为 3（k = 3），并根据 LLM 模型设置输入的令牌限制（对于 Llama2，n = 4096）。

4. 实验结果

数据集和基线：选择 FB15k、FB15k - 237 和 NELL995 作为基准数据集，选择 GQE、Query2Box、BetaE、HQE、HypE 和 CQD 作为基线方法。
RQ1. 逻辑推理效果：LARK 在不同查询类型上平均比先前的基线方法高出 35% - 84% 的 Mean Reciprocal Rank（MRR）分数，在处理简单查询时表现更好，在具有挑战性的否定查询中显著优于基线，表明其在处理复杂查询场景中的优越推理能力。
RQ2. 链分解优势：使用链分解查询比标准复杂查询使模型性能提高 20% - 33%，表明 LLM 能够捕获广泛的关系，并有效利用这一能力提高复杂查询的性能。
RQ3. LLM 规模分析：从 Llama2 - 7B 到 Llama2 - 13B，LARK 模型的性能提高了 123%，表明增加 LLM 参数数量可以增强 LARK 模型的性能。
RQ4. 增加令牌限制的研究：从 Llama2 过渡到 GPT - 3.5，LARK 模型的性能可提高 29% - 40%，表明增加 LLM 的令牌限制可能具有进一步提高性能的潜力。
RQ5. 查询抽象的影响：语义信息对简单投影查询有轻微性能提升（0.01%），但对于复杂查询会导致性能下降（0.7% - 1.4%），主要原因是语义信息超过 LLM 令牌限制，导致邻域信息丢失。因此，查询抽象不仅有助于减轻模型幻觉和实现跨不同 KG 数据集的泛化，还可以通过减少令牌大小来提高性能。

5. 结论

LARK 首次将知识图谱的逻辑推理与 LLM 的能力相结合，通过逻辑分解的 LLM 提示实现对从知识图谱检索的子图的链推理，有效地利用了 LLM 的推理能力。
LARK 在标准 KG 数据集的逻辑推理任务上显著优于先前的先进方法，且其性能随着底层 LLM 规模的增加和设计的改进而提高。
使用 LLM 进行知识图谱的复杂逻辑推理有望为改进对大型、噪声和不完整的现实世界知识图谱的推理开辟新途径，对自然语言理解、问答系统、智能信息检索系统等有潜在影响，但也需要考虑伦理问题，如模型中的偏差和知识图谱的质量及完整性对性能的影响。

LARK 方法的具体步骤是什么？

介绍一下大型语言模型的发展历程

除了 LARK，还有哪些方法可以进行知识图谱的复杂逻辑推理？