论文导读 | 融合大规模语言模型与知识图谱的推理方法

最新推荐文章于 2025-01-29 08:31:40 发布

PKUMOD

最新推荐文章于 2025-01-29 08:31:40 发布

阅读量1.4k

点赞数

文章标签：语言模型知识图谱人工智能

本文链接：https://blog.csdn.net/weixin_48167662/article/details/134382608

版权

前言

大规模语言模型在多种自然语言处理相关任务上展现了惊人的能力，如智能问答等，但是其推理能力尚未充分展现。本文首先介绍大模型进行推理的经典方法，然后进一步介绍知识图谱与大模型融合共同进行推理的工作。

文章一：使用思维链提示方法“召唤”大模型的推理能力

本文方法主要提出了一个提示词构建方法，通过大规模语言模型完成复杂的推理任务。大量实验表明本文所提方法能够显著提高大模型执行复杂推理的能力。该项工作动机是人在进行复杂任务推理时往往将问题分解为多步简单问题，逐步解决每个简单问题后即可推理得到复杂问题的最终答案。

如下图例子中，左边是传统的提示词方法，首先给出一组问题样例及答案，然后给出问题，大模型输出内容即为最终答案。由于该数学问题较为复杂，大模型未能回答正确。不同于传统直接给出最终答案的提示词，右边图中的提示词在样例答案中给出了推理过程和最终答案（蓝色高亮），而大模型的回答同样给出了推理过程和正确答案。

从实验结果可以看出，思维链提示方法（橙色）比传统提示方法（黄色）的解决率提高了三倍。

本文在数学推理、常识推理和符号推理三种任务上进行了广泛的测试，测试任务示例和结果见下图。

1. 数学推理问题

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

PKUMOD

关注关注

0
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering

c_cpp_csharp的专栏

08-25

603

大型语言模型（LLM）能够根据预先训练过程中存储在参数中的内部知识，执行零样本封闭式问答任务。然而，这种内化的知识可能是不充分和不正确的，这可能导致LLM产生事实上错误的答案。此外，微调LLM以更新其知识是昂贵的。为此，我们建议在LLM的输入中直接增加知识。具体来说，我们首先根据问题及其相关事实之间的语义相似性，从知识图谱中检索输入问题的相关事实。之后，我们以提示的形式将检索到的事实预先添加到输入问题中，然后将其转发给LLM以生成答案。

Think-on-Graph: Deep and Responsible Reasoning of Large Language Model with Knowledge Graph

c_cpp_csharp的专栏

09-06

715

大型语言模型（LLM）在各种任务中取得了重大进展，但它们往往难以进行复杂的推理，并且在知识可追溯性、及时性和准确性至关重要的场景中表现出较差的性能。为了解决这些局限性，我们提出了Think on Graph（ToG），这是一个新颖的框架，利用知识图谱来增强LLM的深度和负责任推理能力。通过使用ToG，我们可以识别与给定问题相关的实体，并进行探索和推理，从外部知识数据库中检索相关的三元组。这个迭代过程生成由顺序连接的三元组组成的多个推理路径，直到收集到足够的信息来回答问题或达到最大深度。

参与评论您还未登录，请先登录后发表或查看评论

【NLP笔记】大模型prompt推理（提问）技巧

weixin_36488653的博客

03-28

3328

LLM推理技巧

论文导读 | 大语言模型与知识图谱复杂逻辑推理

weixin_48167662的博客

11-20

1441

大语言模型，尤其是基于思维链提示词（Chain-of Thought Prompting）[1]的方法，在多种自然语言推理任务上取得了出色的表现，但不擅长解决比示例问题更难的推理问题上。本文首先介绍复杂推理的两个分解提示词方法，再进一步介绍将提示词方法应用于知识图谱复杂逻辑推理的工作。

学习笔记：THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASON-ING OF LARGE LANGUAGE MODEL ON KNOWLEDGEGRAPH

Messy_Cat的博客

11-23

705

LLM在使用过程中往往难以进行复杂的推理，并且在知识可追溯性、及时性和准确性至关重要的场景中表现出较差的性能。为了解决这些局限性，该文章提出了Think on Graph（ToG），该框架利用知识图来增强LLM的推理深度和负责任推理能力（即推理过程不是黑盒）。通过使用ToG，我们可以识别与给定问题相关的实体，并进行探索和推理，从。这个迭代过程生成由顺序连接的三元组组成的多个推理路径，直到收集到足够的信息来回答问题或达到最大深度。

论文笔记：Think-on-graph: Deep and responsible reasoning of large language model with knowledge graph

Daisymanman的博客

03-07

1888

尽管大语言模型在各种任务中取得了显著的效果，但是经常存在幻觉问题。通过在LLM推理中引入外部知识图谱可以解决部分问题。本文提出一种新的LLM-KG集成范式，将LLM视为一个代理，交互探索KG上的相关实体和关系，并基于检索到的知识进行推理。作者引入一种名为在图上思考（Think-on-Graph, ToG）的方法来进一步实现这一范式，LLM代理在KG上迭代执行波束搜索，发现最优路径，并返回最有可能的推理结果。ToG方法的优点：① 与LLM相比，ToG具有更好的深度推理能力；

TOC专家谈 | “大模型+知识图谱”双轮驱动的医药数智化转型新范式（漆桂林&吴刚）...

开放知识图谱

07-23

1195

导读OpenKG新开设“TOC专家谈”栏目，推送OpenKG TOC（技术监督委员会）专家成员的观点文章。本期邀请到东南大学漆桂林教授、柯基数据CEO吴刚介绍“大模型+知识图谱”方面的一些探索，本文整理自“OpenKG走入通义实验室”Talk上的分享。本报告介绍将知识图谱与大模型融合的基本方法。一方面，应对大模型目前面临的挑战；另一方面，利用知识图谱技术优化大模型的表现。本文简要介绍了两位TOC专...

TOC专家谈 | 大模型时代的知识图谱年度进展报告（同济王昊奋）

最新发布

开放知识图谱

01-29

1266

蛇年已至，OpenKG衷心感谢大家的信任与支持。过去一年，我们一同见证了开源和知识图谱的力量。新的一年，愿你继续关注和支持OpenKG社区，巳巳如意，助力知识增强大模型，开启更加精彩的旅程！导读OpenKG新开设“TOC专家谈”栏目，推送OpenKG TOC（技术监督委员会）专家成员的观点文章。本期邀请到同济大学王昊奋特聘研究员介绍大模型时代的知识图谱年度进展报告，本文整理自王昊奋老师在“Open...

新KG视点 | Jeff Pan、陈矫彦等——大语言模型与知识图谱的机遇与挑战

开放知识图谱

08-27

1553

OpenKG大模型专辑导读知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织新KG视点系列文章——“大模型专辑”，不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期邀请到爱丁堡大学Jeff Pan教授、曼彻斯特大学陈矫彦研究...

THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH翻译

nopSled

12-05

864

大型语言模型 (LLM) 在各种自然语言处理任务中表现出了卓越的性能。这些模型利用应用于大量文本语料库的预训练技术来生成连贯且上下文适当的响应。尽管LLM的表现令人印象深刻，但在面临需要复杂知识推理任务时，LLM仍存在很大的局限性。首先，LLM通常无法为超出了预训练阶段所包含的专业知识的问题（图1a中的过时知识）或需要长逻辑链和多跳知识推理的问题提供准确的答案。其次，LLM缺乏可信度、可解释性和透明度，引发了人们对幻觉或有毒文本风险的担忧。

THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASON-ING OF LARGE LANGUAGE MODEL ON KNOWLEDGEGRAPH论文讲解

qq_43442418的博客

11-27

1649

本文提出一种新的 LLM-KG 集成范式 “LLM⊗KG”，通过算法框架让 LLM 在上进行推理，以解决 LLM 在深度和负责任推理方面的不足，实验表明 ToG 在多跳知识密集型推理任务中表现出色，具有深度推理、责任推理、灵活高效等优点。

【学习笔记】Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph

weixin_45838549的博客

11-26

1123

最多调用2ND+D+1次LLM，其中“2ND”表示D次探索（beam search为N，探索包括关系探索和实体探索两部分），“D”表示D次评价，“1”表示1次生成。本文提出了一种新的紧耦合的LLM⊗KG范式，其中KG和LLM是串联工作的，在图推理的每一步中相互补充彼此的能力。ToG 从知识图谱中提取多样化和多跳推理路径，作为语言模型推理的基础，从而增强了语言模型在知识密集型任务中的深度推理能力。使用显式的推理路径，提高了推理过程的可解释性和可校正性，能对知识进行回溯，发现错误并进行纠正。

THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH（增强KG推理）

m0_60110713的博客

10-16

798

将大模型作为代理，交互式地探索KG上的相关实体和关系，并根据检索到的知识进行推理，提出一种Think-on-Graph (ToG)的方式进一步实现范式。1）与LLM相比，ToG具有更好的深度推理能力；2）ToG利用LLM推理和专家反馈，具备知识溯源和知识纠错能力；3）ToG为不同的LLM、KG和提示策略提供灵活的即插即用框架，无需任何额外的培训成本；4）在某些场景下，小型LLM模型的ToG性能可能超过大型LLM。

AI大模型 | 构建知识图谱的双重方法：传统NLP技术或大型语言模型

Code1994的博客

10-04

1623

知识图谱是由互连实体及其关系组成的网络。它将信息组织成机器可以解释的结构化形式。该图包括：节点（实体）：表示人员、地点、组织、概念等。Edges （Relationships）：定义实体之间的连接（例如，‘works at’、‘is located in’）。知识图谱在 AI、数据集成和自然语言处理（NLP）等领域特别有用，这些领域的目标是从非结构化数据中提取有意义的信息。传统命名实体识别（NER）

论文笔记：Knowledge-Augmented Language Model Promptingfor Zero-Shot Knowledge Graph Question Answering

Daisymanman的博客

03-04

1425

LLM能够根据其在预训练过程中存储在参数中的内部知识进行零样本闭卷问答任务，但是这种内部知识可能是不正确的和过时的，导致LLM生成事实上错误的答案，此外，对LLM进行微调来更新其中的知识是昂贵的。为此，本文直接在LLM的输入中增加知识。具体来说，首先根据问题及相关事实之间的语义相似性从知识图谱中检索与输入问题相关的事实；然后，将检索到的事实以提示的形式与输入问题融合，并输入到LLM中，生成答案。KAPING框架不需要重新进行模型训练，因此可以适用于零样本场景。

论文Knowledge-Augmented Language Model Prompting for翻译笔记（用于零点知识图谱问题解答的知识增强语言模型提示）

weixin_56242678的博客

03-18

1442

论文Knowledge-Augmented Language Model Prompting for翻译笔记（用于零点知识图谱问题解答的知识增强语言模型提示）

技术动态 | 大模型用于知识图谱推理常用范式：兼论基于TransE模型的知识推理实践...

开放知识图谱

10-18

1106

转载公众号 | 老刘说NLP知识推理是从已有的知识出发，得出未知的、隐性的知识，具体到知识图谱中，即利用图谱中现有的知识（三元组），得到一些新的实体间的关系或者实体的属性（三元组）。关于知识推理这一任务，我们已经在《OGB-知识推理概览必读：三大推理评测任务、数据集与现有模型水平概述》、《技术总结：知识图谱推理中的常用方法、关键问题、评测指标与开放数据总结》等文章中进行了理论性的介绍。其中知识图谱...

技术动态 | 再看大模型与知识图谱的融合策略：KnowledGPT–面向知识图谱检索进行大模型增强的框架工作...

开放知识图谱

10-09

3475

转载公众号| 老刘说NLP我们来讲讲知识图谱与大模型之间融合的一些工作。大型语言模型（LLMs）在自然语言处理领域产生了令人印象深刻的影响，但它们在完整性、及时性、忠实性和适应能力等方面仍存在一些问题。例如：首先，LLM在及时更新和特定领域的专业性方面存在局限性。其次，这些模型可能会产生不真实或"幻觉"的知识，从而带来可靠性和伦理方面的问题。第三，由于成本和可及性等限制，大模型很难通过持续培训吸...

Multi-Label Zero-Shot Learning with Structured Knowledge Graphs 论文笔记

Innse的脑洞世界

05-29

834

Multi-Label Zero-Shot Learning with Structured Knowledge Graphs 论文笔记个人学习笔记，写得可能比较意识流，各位斟酌食用，理解有误的恳请指正 0. Abstract 这是一个多标签零次学习任务（ML-ZSL），对一个输入预测多个unseen类标签。引入知识图谱来描述多个标签之间的关系。模型学习一个信息传播机制来建模seen和uns...