LLM如何理解图数据? Graph+LLM综述

已于 2024-08-25 23:23:26 修改
阅读量2.2k 收藏 23
点赞数 26
文章标签： GNN LLM RAG 深度学习 人工智能 nlp
于 2024-08-21 18:11:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52965867/article/details/141397705
版权

InstructGraph：以图为中心的指令调整和偏好调整来提升大型语言模型（ACL 2024）

https://github.com/wjn1996/InstructGraph

目前的方法能够将图转为序列形式数据（如自然语言），但是难以很好的转回图的形式

本文提出了将图表示为代码语言，实现相互转换

此外，分别探讨了图推理和生成中的四个幻觉问题。我们使用直接偏好优化 （DPO） 来执行偏好对齐

对图推理（RoG）：忠实可解释的大语言模型推理方法（ICLR2024）

https://github.com/RManLuo/reasoning-on-graphs
在这里插入图片描述

推理图（Reasoning on Graphs, RoG）提出了一个计划-检索-推理框架，该框架的核心流程包括以下几个步骤：

  • 规划生成（Planning Generation）：给定一个问题，首先使用大型语言模型（LLM）生成若干个基于知识图谱（KG）的关系路径作为推理规划。这些关系路径捕捉了实体间的语义关系，并被用作推理答案的规划。
  • 路径检索（Path Retrieval）：利用生成的推理规划，从知识图谱中检索有效的推理路径。这一步确保LLM能够获取最新的知识，并基于这些路径进行推理。
  • 推理（Reasoning）：基于检索到的推理路径，LLM进行推理并生成答案，同时解释推理过程。

通过将关系路径视为计划，将我们的RoG描述为一个优化问题，其目的是通过生成关系路径z作为计划，最大化从知识图G中推理出问题q的答案的概率

两个组成部分：

1)一个规划模块，该模块生成以KGs为基础的关系路径作为忠实计划;

2)检索推理模块，首先根据计划从KGs中检索有效的推理路径，然后根据检索到的推理路径进行忠实推理，生成具有可解释解释的答案

规划模块：在规划优化中，我们的目标是将知识从KGs中提取到llm中，以生成忠实关系路径作为规划。这可以通过最小化忠实关系路径Q(z)的后验分布的KL散度来实现，这可以通过KGs中的有效关系路径来近似。

推理模块·：推理模块以问题q和一组推理路径Wz生成答案a。同样，我们设计推理指令提示符，引导llm根据检索到的推理路径Wz进行推理。

附RoG解读：
https://www.53ai.com/news/knowledgegraph/2024071214865.html
https://blog.csdn.net/weixin_44466434/article/details/137135162
https://www.53ai.com/news/knowledgegraph/2024071214865.html

<

最低0.47元/天 解锁文章
墨垣_
关注
Agent = LLM（大型语言模型）+记忆+规划技能+工具使用
AI智能涌现深度研究
01-06 848
大型语言模型（LLM）、代理（Agent）、记忆、规划、工具使用、人工智能 1. 背景介绍 近年来，人工智能（AI）领域取得了令人瞩目的进展，其中大型语言模型（LLM）的出现尤为引人注目。LLM 凭借其强大的文本生成、理解和翻译能力，在自然语言处理（NLP）领域展现出巨大的潜力。然
图相关大型语言模型（Graph-LLMs）综述
步子哥的博客
07-02 1077
大型语言模型（LLMs）在自然语言处理任务中展现了显著进步。然而，它们与图结构的结合仍相对较少探索。图结构在现实世界应用中普遍存在，本文旨在通过提供研究论文的精选列表，探索图技术与LLMs交叉的领域，填补这一空白。
嬴图 | LLM+Graph：大语言模型与图数据库技术的协同
Ultipa的博客
11-06 2125
本文集中在Ulitpa嬴图在应用中的一些探索与实践，看看大模型+图技术 是如何相互辅助、互相促就的。
Graph+LLM：从节点嵌入到认知跃迁
最新发布
2401_84204413的博客
03-29 1084
图表示学习目的是将高维稀疏的图结构转化为低维稠密的向量化表示，同时保留节点间的拓扑关系、语义信息和属性特征，有效的应用在节点分类、链接预测和图分类等下游任务中。图表征学习方法大致分为四类：基于距离翻译、基于语义匹配、基于随机游走、基于图传播的方法。图表示学习是图谱推理模型的基石，传统图推理算法（如路径排序算法、关联规则挖掘）依赖人工设计的特征工程，而在图表示学习的方法出现后，图推理模型可直接利用图表征进行概率预测或逻辑推断。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2638
TensorFlow相关组件的安装
GraphLLM：基于图的框架，通过大型语言模型处理数据
u013818406的博客
10-23 1482
GraphLLM是一个创新的框架，它允许用户通过一个或多个大型语言模型（LLM）来处理数据。这个框架不仅提供了一个强大的代理，能够执行网络搜索和运行Python代码，还提供了一套工具来抓取网页数据，并将其重新格式化为对LLM更友好的格式。
Graph+LLM
weixin_44758224的博客
10-15 947
为了打破这一困境，通过一个名为 GraphTranslator 的翻译器连接预训练的 GM 和 LLM，旨在利用 GM 有效地处理预定义任务，并利用 LLM 的扩展接口为 GM 提供各种开放式任务。在本文中，我们旨在探索 LLM 在图机器学习中的潜力，特别是节点分类任务中，并研究两种可能的流程：LLM 作为增强器和 LLM 作为预测器。然后，我们讨论了在图上使用 LLM 的详细技术，包括 LLM 作为预测器、LLM 作为编码器和 LLM 作为对齐器，并比较了不同模型的优缺点。
Graph + LLM图数据库技术如何助力行业大语言模型应用落地
AI Agent方案,AI智能体开发策划,人工智能软件开发,人形机器人设计构想.大语言模型高性能推理技术解析。
02-18 775
搭建企业专属的行业大语言模型不仅需要深刻理解行业领域的专业知识和术语，以保证模型的准确性和可靠性，还需要有一定的知识推理和联想能力，以应对多种环境下复杂的用户需求。图数据库中存储的行业数据可以作为语言模型的训练数据和参考数据，帮助模型更好地理解行业领域的背景和特点。传统的训练方法存在训练成本高、效率低、上下文信息不足的问题，导致大语言模型难以在生产环境中真正落地——而图数据库在海量、多样化、复杂数据场景中处理能力和直观、灵活、高效的特性恰好能解决这些问题，因此正被广泛应用于大模型训练和多种实际应用场景。
Agent 基础架构：LLM + 规划 + 记忆 + 工具使用
AI智能涌现深度研究
10-22 997
大语言模型 (LLM) 规划算法 记忆机制 工具使用 智能代理 强化学习 1. 背景介绍 近年来，人工智能领域取得了令人瞩目的进展，特别是大语言模型 (LLM) 的快速
GRAPHLLM：提升大语言模式的图推理能力
F_Hawk__的博客
03-24 1146
1. （输入图）由一个n维特征和一个邻接矩阵组成{V，ε}，Graph2Text的方法将图形描述 A（V， E） → TextDescription。2. （图推理任务微调）给定一个预训练好的LLM M其中包含参数θ，m个指令对的数据集其中，每个是一个图，以及一个特定于任务的目标函数 L。微调过程旨在通过最小化以下损失函数来学习特定于任务的参数 θ*其中M(;θ')表示由参数θ'微调的LLM的输出。
使用 LLM Graph Transformer 构建知识图谱
kaka0722ww的博客
12-27 1810
当使用 LLM Graph Transformer 进行信息抽取时，定义一个图形模式对于引导模型构建有意义且结构化的知识表示至关重要。一个良好定义的图形模式指定了要提取的节点和关系类型，以及与每个节点和关系相关的任何属性。该模式作为一个蓝图，确保 LLM 以符合所需知识图谱结构的方式一致地提取相关信息。在这篇博文中，我们将使用 玛丽·居里维基百科页面[11] 的开头段落进行测试，并在末尾添加一条关于罗宾·威廉姆斯的句子。我们在所有示例中还将使用 GPT-4o。
llm-graph-builder——从非结构化数据创建知识图谱
m0_59163425的博客
07-23 3136
此应用程序旨在将非结构化数据（pdfs, docs, txt, youtube视频, 网页等）转化为存储在Neo4j中的知识图谱。它利用大型语言模型（OpenAI, Gemini等）的强大功能，从文本中提取节点、关系及其属性，并使用Langchain框架创建结构化的知识图谱。从本地计算机、GCS或S3存储桶或网页源上传文件，选择您的LLM模型并生成知识图谱。
探索知识图谱的未来：llmgraph
gitblog_00042的博客
06-11 446
探索知识图谱的未来：llmgraph 项目地址:https://gitcode.com/gh_mirrors/ll/llmgraph 在当今数据驱动的世界中，知识图谱是理解复杂信息网络的关键工具。而今天，我们向您介绍一个全新的开源项目——llmgraph，这是一个利用大型语言模型（LLMs）生成知识图谱的强大工具。 1、项目介绍 llmgraph是一个创新性的Python库，它允许用户从给定的Wi...
llmgraph 开源项目快速入门指南
gitblog_00534的博客
08-31 334
llmgraph 开源项目快速入门指南 llmgraphCreate knowledge graphs with LLMs项目地址:https://gitcode.com/gh_mirrors/ll/llmgraph 项目简介 llmgraph 是一款利用大型语言模型（如 ChatGPT）提取知识并构建知识图谱的工具。此项目允许用户从Wikipedia页面出发，生成GraphML、GEXF以及H...
用LLM Graph Builder构建知识图谱实战篇
qkh1234567的博客
11-11 1042
本文深入探讨了LangChain框架中基于大型语言模型（LLM）的LLM图转换器，展示了如何从文本中提取实体和关系，进而构建知识图谱。文章首先介绍了使用Neo4j作为图数据库的环境设置，强调了其内置的图形可视化功能，方便用户直观地理解数据结构。此外，本文还详细介绍了如何将提取的图谱文档导入Neo4j数据库，提供了默认导入、基础实体标签以及包含源文档等多种导入选项。通过实际示例，展示了不同配置下的提取效果和可视化结果。
万字解析！用LLM Graph Builder构建知识图谱实战篇
老皮的博客
12-16 1919
使用LLM图转换器进行信息提取时，定义图谱模式对于引导模型构建有意义和结构化的知识表示至关重要。一个良好定义的图谱模式指定了要提取的节点和关系类型，以及每个节点和关系的任何属性。这个模式作为蓝图，确保LLM始终如一地提取相关信息，以符合所需的知识图谱结构。在本文中，我们将使用玛丽·居里的维基百科页面[12]的开头段落进行测试，并在最后添加了一句关于罗宾·威廉姆斯的句子。text = """"""我们还将在所有示例中使用GPT-4o。import os。
探索知识的新维度 - 深入了解llmgraph开源项目
gitblog_00941的博客
08-30 862
探索知识的新维度 - 深入了解llmgraph开源项目 llmgraphCreate knowledge graphs with LLMs项目地址:https://gitcode.com/gh_mirrors/ll/llmgraph 在数据密集的数字时代，知识图谱作为信息组织和探索的强大工具，正日益受到重视。今天，我们带您走进llmgraph的世界，一个利用大型语言模型（LLMs）自动构建知识图...
LLM蒸馏到GNN，性能提升6.2%！Emory利用大模型增强图学习能力
阿木寺的博客
08-28 415
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：新智元 ｜ 编辑：LRST【导读】Emory大学的研究团队提出了一种创新的方法，...
Graph RAG: 知识图谱结合 LLM 的检索增强
weixin_44324814的博客
10-10 2323
RAG（Retrieval Argumented Generation）这种基于特定任务/问题的文档检索范式中，我们通常先收集必要的上下文，然后利用具有认知能力的机器学习模型进行上下文学习（in-context learning），来合成任务的答案。这次，我们借助 LLM 的力量，强化下 RAG。
大模型顶会论文推荐
03-26
### 关于大型语言模型的顶级会议论文推荐 在学术界，涉及大型语言模型（Large Language Models, LLMs）的研究通常发表在人工智能领域最顶尖的会议上。这些会议包括但不限于 NeurIPS (Conference on Neural Information Processing Systems)[^4]、ICLR (International Conference on Learning Representations)[^5] 和 ACL (Annual Meeting of the Association for Computational Linguistics)[^6]。 以下是几个重要的研究方向及其对应的顶级会议： #### 1. 大型语言模型的基础理论与架构设计 这类研究主要探讨如何构建更高效、更大规模的语言模型以及优化其训练过程。NeurIPS 是该主题的主要发布平台之一。例如，在最近几年中，有关 Transformer 架构扩展的工作频繁出现在此会议上[^7]。 #### 2. 提升LLMs性能的技术方法 为了提高大规模预训练模型的效果，许多技术被提出并验证有效，比如微调策略、蒸馏技术和参数效率迁移学习等。ICLR 成为此类创新成果的重要展示场所。一项值得注意的是关于自监督学习进展的文章也常在此类场合分享[^8]。 #### 3. 应用场景探索与社会影响分析 随着 LLM 技术日益成熟，它们正广泛应用于各个行业之中；同时对其潜在的社会伦理问题也需要深入讨论。ACL 不仅关注自然语言处理方面的技术创新还重视跨学科合作来解决实际应用中的挑战[^9]。 此外，《Proceedings of Machine Learning Research》作为开放获取期刊系列也为高质量机器学习研究成果提供了良好渠道[^10]。 ```python import requests def fetch_top_conference_papers(conference_name): url = f"https://api.semanticscholar.org/graph/v1/paper/search?query={conference_name}&fields=title,url" response = requests.get(url).json() return [(paper['title'], paper['url']) for paper in response['data']] papers = fetch_top_conference_papers('large language model') for title, link in papers[:5]: print(f"- [{title}]({link})") ``` 上述脚本可以帮助快速检索到特定关键词相关的顶会文章链接列表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值