【ACL2024】Graph Chain-of-Thought：基于图结构增强LLM的推理能力

已于 2024-11-16 23:16:57 修改
阅读量1k 收藏 6
点赞数 26
文章标签： 深度学习 人工智能 LLM RAG 知识图谱 语言模型 GNN
于 2024-11-16 20:50:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52965867/article/details/143821175
版权

https://arxiv.org/abs/2404.07103

背景

LLM参数化记忆知识，不能参考具体的知识来源。
一般通过RAG改善，但现有RAG往往忽略了文本之间的关联。

贡献

  • 构建了一个名为GRBENCH的图推理基准数据集。来自五个领域的LLMs的外部知识源，包括学术、电子商务、文学、医疗和法律领域。
    同时，这个数据集中的每个样本都是有人工设计的问题和答案组成，这些问题和答案都可以通过参考图或从图中检索信息作为上下文来回答。划分了简单-中等-难三个问题类别
  • 简单有效的框架——图链思考：GRAPH-COT，主要思想就是是使LLMs能够逐步遍历图以找出所需的关键信息，而不是直接将整个子图作为上下文输入到LLMs中请添加图片描述
  • 每次迭代包括三个子步骤：推理，交互和执行。
  • 推理：LLMs提出可以根据当前信息得出结论以及需要从图中获取哪些进一步的信息
  • 交互：LLMs生成从图中获取信息所需的交互（例如，查找节点、检查邻居等）
  • 执行：在图上执行交互步骤中的请求，并返回相应的信息

内容

GRBENCH数据集：五个通用领域的10个图
LLMs仅凭模型参数中存储的内部知识很难回答这些问题，它们需要与外部领域的图

最低0.47元/天 解锁文章
墨垣_
关注
CAT-BENCH: Benchmarking Language Model Understandingof Causal and Temporal Dependencies in Plans
qq_52053775的博客
01-03 73
这些结果表明，现有模型在推理步骤依赖性时的能力和可靠性仍有很大改进空间。
Graph-COT框架｜图推理增强LLMs
Code1994的博客
11-03 859
通过语义搜索识别图中的相关节点。：从图中提取特定节点的文本特征信息。：返回图中特定节点的邻居信息。：返回图中特定节点的邻居类型数量。在这项工作中，研究了用（文本赋予的）图作为外部知识源来增强LLMs的问题。首先手动构建了一个名为GRBENCH的基准数据集，包含来自5个领域的1,740个问题和10个图。GRBENCH中的每个问题都可以通过参考图来回答。进一步提出了一种简单有效的框架，称为GRAPH-COT，它可以通过让LLMs对图进行迭代推理来增强LLMs。
大模型Chain-of-Thought（CoT）与Agent基础知识与介绍
夏栀的博客
06-04 4469
大语言模型Chain-of-Thought与Agent
提示工程深度解析：如何让大语言模型更聪明地思考？
2401_85343303的博客
04-12 807
要真正挖掘 LLMs 的全部潜力，关键在于引导它们如何思考。提示工程中的思维结构正是实现这一目标的核心所在，它通过精心设计的提示技术，显著提升了模型推理能力、回答可靠性和透明度。今天我们一起了解一下提示工程中的思维结构。
Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs 论文阅读
qq_50954124的博客
12-02 877
发布于ACL2024在grapg-rag中，为了解决某些结构化信息存储在相关连接中，例如：书目图中的学术论文通过引用和共同作者联系在一起，形成了一个（文本署名）图。这种图中的知识不仅编码在单个文本/节点中，也编码在它们的相关连接中。这篇文章自己建立了一个GRBENCH的图推理基准数据集，这些问题可以用10个领域图的知识来回答。作者建立了图思维链（Graph - cot），通过LLM推理、LLM-图交互和图执行来进行执行。
【大语言模型】ACL2024论文-23 检索增强的多语言知识编辑
12-02 1596
本文提出了一种名为检索增强多语言知识编辑器（ReMaKE）的方法，旨在更新大型语言模型（LLMs）中的知识。由于LLMs中的知识经常不正确或过时，且通过微调更新知识计算成本高昂且不可靠，因此知识编辑（KE）作为一种有效且经济的替代方案应运而生。当前的KE研究主要集中在单一语言设置中，通常是英语。ReMaKE通过从多语言知识库检索新知识并与提示串联，实现多语言设置中的模型无关知识编辑。实验结果表明，ReMaKE在多语言环境中的表现超过了基线知识编辑方法，是首个在多语言设置中工作的知识编辑方法。
NLP中 大语言模型LLM中的思维链 Chain-of-Thought(CoT) GoT
大鹏的专栏
11-24 6687
在过去几年的探索中，业界发现了一个现象，在增大模型参数量和训练数据的同时，在多数任务上，模型的表现会越来越好。因而，现有的大模型LLM，最大参数量已经超过了千亿。然而，增大模型参数规模，对于一些具有挑战的任务（例如算术、常识推理和符号推理）的效果，并没有太大提升。对于算术类推理任务，我们期望模型生成自然语言逻辑依据来指导并生成最终答案，但是获得逻辑依据是比较复杂昂贵的（标注成本层面）。
ACL24|基于图结构增强LLM的推理能力
m0_59164304的博客
11-07 727
这些图的详细数据如下图所示。在使用LLMs进行推理的过程中，第一步是根据问题或之前迭代的上下文，让LLMs进行推理，以确定需要从图谱中获取哪些额外的外部信息，或者是否可以用当前图谱中的上下文来回答这个问题。为了使数据集全面，数据集包括了不同难度级别的样本：简单问题（可以通过图上的单跳推理回答），中等问题（需要图上的多跳推理），以及难题（需要在图上的信息作为上下文进行归纳推理）。为了确保这些问题的准确性和意义，作者请了受过良好训练的计算机科学博士生来撰写可能的问题，这些问题在给定图谱的上下文中可以得到答案。
LLM&Graph:MindMap-Knowledge Graph Prompting Sparks Graph of Thoughts in LargeLanguage ModelsMindMap
zerokusinage的博客
11-20 1038
ACL 2024 论文: MindMap-Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language ModelsMindMap
arXiv每日学术速递 | 专题解读 | 图增强大语言模型研究进展
csdn_xmj的博客
12-24 740
图在表示和分析现实世界中的复杂关系方面发挥着重要作用，如社交网络、生物数据等。大语言模型（LLM）在自然语言处理领域取得了巨大成功，现在也被用于与图相关的任务，超越了传统的基于图神经网络（GNN）的方法。这种结合在多个领域取得了成功，显示了图和LLM集成的强大潜力。下面将介绍两篇关于图增强大语言模型的论文。
The Prompt Report- A Systematic Survey of Prompting Techniques(2024)-翻译《Prompt报告：Prompt技术的系统综述》
ajian005的专栏
12-22 1759
生成式人工智能（GenAI）系统正日益广泛地应用于各行各业和研究领域。开发人员和最终用户通过提示或提示工程与这些系统进行交互。尽管提示是一个广泛应用且研究深入的概念，但由于这一领域的较新性，存在着术语上的冲突和对提示本质的本体论理解不足。本文通过建立提示的结构化理解，提出了提示技术的分类法并分析其应用。我们提供了一个全面的词汇表，包含33个术语，一个包含58种仅文本提示技术的分类法，以及40种适用于其他模态的技术。此外，我们还对关于自然语言前缀提示的所有文献进行了元分析。
Pycharm（十九）深度学习
higerwy的博客
05-06 1432
深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。深度学习、机器学习和人工智能之间的关系如下图所示：深度学习⊆机器学习⊆人工智能优点：1）精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类；2）随之计算机硬件的发展，可以近似任意的非线性函数；3）近年来在学界和业界受到了热捧，有大量的框架和库可供调。缺点：1）黑箱。
基于EMD-PCA-LSTM的光伏功率预测模型研究
专注AI大模型,软件混淆,授权
05-14 53
本文提出了一种结合经验模态分解(EMD)、主成分分析(PCA)和长短期记忆网络(LSTM)的混合模型，用于提高光伏功率预测的准确性。该模型首先利用EMD将非平稳的光伏功率序列分解为多个本征模态函数(IMF)，然后通过PCA对多维气象特征进行降维处理，最后将处理后的特征输入LSTM网络进行预测。实验结果表明，与单一LSTM模型和传统预测方法相比，EMD-PCA-LSTM模型在预测精度和稳定性方面均有显著提升。该模型有效处理了光伏功率序列的非平稳性和非线性，同时通过特征降维提高了模型效率，为光伏功率预测提供了一
使用深度学习预训练模型检测物体
最新发布
xinyu的记录博客
05-14 732
使用 GeoAI 工具和预训练模型自动检测棕榈树。
人工智能-深度学习之循环神经网络
m0_51678367的博客
05-14 631
LSTM文本生成实战summary1、通过搭建LSTM模型，实现了基于文本序列的字符生成功能；2、学习了文本加载、字典生成方法；3、掌握了文本的数据预处理方法，并熟悉了转化数据的结构；4、实现了对新文本数据的字符预测。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 1459
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
深度学习 自然语言处理(RNN) day_02
qq_59348412的博客
05-13 996
感知机由于结构简单，完成的功能十分有限。可以将若干个感知机连在一起，形成 一个级联网络结构，这个结构称为“多层前馈神经网络”（Multi-layer Feedforward Neural Networks）。所谓“前馈”是指将前一层的输出作为后一 层的输入的逻辑结构。每一层神经元仅与下一层的神经元全连接。但在同一层之内， 神经元彼此不连接，而且跨层之间的神经元，彼此也不相连。循环神经网络（Recurrent Neural Network，RNN）是一种神经网络结构，专门用于处理序列数据。
Lora原理及实现浅析
m0_68784427的博客
05-11 717
简单介绍了Lora的原理及
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值