ACL 2024 | InstructGraph：改进大语言模型的图数据理解与生成

最新推荐文章于 2024-09-09 08:24:29 发布
最新推荐文章于 2024-09-09 08:24:29 发布
阅读量117 收藏 1
点赞数
文章标签： 语言模型 人工智能 自然语言处理
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247679128&idx=2&sn=3c46a73c66030d352cebd7289409299e&chksm=9792ed16f7296b7d2b4e7ce84555ff44f39b143120f0d2b2b64706fb9745e17c77f3f0caa85f&scene=126&sessionid=0
版权

7d08ca2149bb89f856898432d624d9ab.gif

©PaperWeekly 原创 · 作者 | 孙秋实

单位 | 新加坡国立大学

研究方向 | 自然语言处理

d3e12e3d7a758ff6de66f7668205756c.png

论文题目：

InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment

论文链接：

https://arxiv.org/pdf/2402.08785

代码链接：

https://github.com/wjn1996/InstructGraph

Graph指令数据：

https://huggingface.co/datasets/wjn1996/InstructGraph

当大语言模型遇到图，会发生什么样的化学反应呢？最近由华东师范大学（ECNU）和加州大学圣地亚哥分校（UC San Diego）联合提出了针对提升大模型在图推理和图生成能力的 InstructGraph 框架。该工作被 ACL 2024 接收。

9378568b9093bff8d660331e206bc2de.png

背景：LLM与Graph

众所周知，大语言模型（Large Language Models，LLMs）是通过自回归式的 Causal Language Modeling 实现预训练，自然语言文本遵循着 token-by-token 的序列形式实现文本生成和推理。然而，图（Graph）则不是序列模式的数据，因此，如何让一个以序列为感知的大语言模型很好地理解一个图数据，是一大挑战。

34642195c66f0ce0a8f56141c4b702ef.png

最近一些工作尝试将图神经网络等模型集成在大模型基座上，使得模型能够按照原先的图学习模式感知图，并借助大模型的生成能力实现推理。然而这类方法存在两个不足：

  • 需要改变大模型的结构，使得模型很难自适应到任意的图，同时这类方法也无法有效地将图与文本很好的进行兼容；

  • 只能够实现由图到文（Graph2Text）的转换，而无法实现图文之间的相互转换，例如 Text2Graph [1]。

4bf1c67c6d7efefab3287a776b14bb65.png

为了让大语言模型更好更有效地理解图或生成图，该工作提出 InstructGraph 框架，并考虑从三个方面来实现这一目的。

  • Prompt Engineering：在输入模板层面上，如何将图与文实现比较好的对齐；

  • Instruction-tuning：在监督微调时，如何让大模型能够很好地完成图推理与生成任务；

  • Preference Optimization：在偏好对齐时，如何让那个大模型能够更准确地实现图的理解和生成，缓解幻觉问题。

dadf06394f8912b7f46656c067d9458c.png

提示工程：结构上对齐

文本是序列化的数据，图是结构化的数据，如何在输入层面上在不介入外部模型的条件下很自然地实现统一对齐呢？该工作想到了使用代码（Code）作为中间表示。

Code 是一种天然的包含结构化信息的序列数据，现如今大语言模型之所以能够具备很强的推理性能，也得易于代码数据的引入。因此，如果将图用代码的形式来表达，那么就巧妙地实现了图文的统一结合，而对于大语言模型来说，处理图和处理代码相似，无需刻意地在输入感知上对图进行专门的表示学习。

为此提出 Code-like Format Verbalizer，对于任意一个图，都可以转换为一个代码的结构模式。

eaecab6c9c05700c8f73c7c87b977688.png

基于这个 Code-like Format 形式，在做图到文（Graph2Text）时，大模型可以像理解代码一样理解图，然后通过文本生成完成回答；在做文到图（Text2Graph）时，大模型可以像写代码一样生成一个图。这一过程充分利用了大语言模型的代码理解和生成的能力。

5580911e9d79fb8dca4ce24d4fe80967.png

图指令微调

对于 GPT-4、GPT-4o 等超大规模的模型，在提示工程的引导下大模型已然可以完成的很不错。但是对于较为小规模的模型，效果依然不行，那么就需要对小模型进行监督微调来赋予其图推理和生成的能力。

da4eccdf115d9ebed484887c377585ad.png

本文将图指令微调划分为两大范式：

  • 图推理：给定一个 Query 和一个 Graph，回答问题；

  • 图生成：给定一个 Query，生成一个 Graph。

为了达到这个目的，该工作收集了来自 29 个不同的针对图推理和生成的任务，并进行了数据预处理和指令构建，最终构建了大约 1.6M 语料。数据来自 Wikipedia、Wikidata、DBPeidia、FIFA、Freebase、OGB、PubMed、Amazon、CiteSeerX、MoveLens、InstructUIE、InstructIE、ConceptNet、NLGraph、ArXiv、LastFM 等。

d77392051551e52d56373bc65f890166.png

对这些图任务进行了更为细致的划分，划分为 4 个 Group，如下所示：

Graph Structure Modeling

2fadef18fbd9b23a1a16bf66854de593.png

图结构建模任务旨在设计相应的指令，让 LLM 能够理解 Graph 结构相关的信息，包括图连通性、环、最短路径等信息。先前工作 NLGraph [2] 提出了 8 种与 Graph 结构相关的 benchmark。这里挑选了前 7 个任务的训练集作为训练数据。

31efc0586c0e5860f467710e7a9be904.png

另外还增加了两个 NLGraph 中没有提及的任务：

  • Graph Degree Prediction：给定一个 Graph，计算目标节点的度数，有向图则包括入度和出度。

  • Graph Diameter：给定一个 Graph，计算其直径。

Graph Language Modeling

8ae31f0535a274edc9cc98c3c138e1f1.png

图语言建模旨在设计相应的指令，让大模型根据 Graph 来完成语言建模。这里包含若干类别的任务：

  • Caption Generation：基于 Wikipedia 和 Wikidata，针对 Wikidata 给定的一个知识图谱，生成出 Wikipedia 中的文本描述；

  • Question Answering：输入一个 Graph，给定一个问题 Query，回答相应的问题；

  • Nodel Classification：输入一个 Graph，对其中一个节点进行分类；

  • Link Prediction：输入一个 Graph，对其中两个节点的边类型进行预测；

  • Relevance Inspection：输入一个 Graph 和一个文本描述，判断图文之间的相关性；

  • Collaboration Filtering：输入一个协同图（二分图），预测两侧节点之间的关系；

Graph Generation Modeling

31ef58a8bd3aa470728529d3f2bd6899.png

图生成建模旨在让大模型根据指令生成一个 Graph。生成的过程等价于生成 Code。图生成包含两个类别的任务，分别是根据文本生成一个图，类似于信息抽取和知识图谱构建；另一个任务则是生成一个结构图。

Graph Thought Modeling

80daa789b797c971841097916468af49.png

除了针对 Graph 进行理解和推理以外，对于普通的文本生成和推理任务也可以间接利用 Graph。例如数学计算推理时，原始的 Chain-of-Thought（CoT）是通过 text-based reasoning chain 的形式进行推理的，而我们可以敦促模型先生成一个计算图，然后再基于这个计算图生成答案。这一过程也类似于大模型 Agent 中的 Planning 环节。

所有任务数据列举如下所示：

7a57d859a586b49a546bd1015e16af66.png

f9607b639a02a7529afafab8732ed9fd.png

图偏好对齐

先前的很多面向 Graph+LLM 的工作，均忽略了 Graph 相关的偏好优化问题。我们发现 LLM 在针对 Graph 进行 instruction-tuning 阶段，同样存在一些偏好问题。我们认为除了 LLM 本身存在的 harmless、helpless 等问题外，针对 Graph 也依然存在如下问题：

  • 输入的 graph 可能存在错误、冗余，或于大模型本身存在冲突的信息。

例如输入的 graph 中，存在冲突的关系，例如 a -> b [relation="r"], b -> a [relation="r"] 输入的graph（尤其是知识图谱等），存在与真实知识冲突的，例如输入的graph 中国 -> 日本 [relation="接壤"]

  • 大模型生成的内容与输入的 graph 存在不一致（内部幻觉）；

例如在 KBQA 时，大模型可能回答的答案可能不在子图中出现过。如果子图中没有，应该修正回答为“正确答案是 xxx，不过如果只关注给定的图，则不存在答案”

  • 大模型生成的内容与真实知识存在不一致（外部幻觉）；

大模型生成的内容中有错误事实信息；大模型生成 graph 时，出现胡编乱造 “给你三个节点，生成含有十条边的图”：这个问题很显然无法回答，需要让 LLM 优化。

为了避免过多的人工介入，构建偏好数据主要通过负采样的形式实现。负采样数据来源于两种途径：

  • 启发式构建：修改 graph 结构，从而获得错误的 graph，其与对应的文本不一致；

  • ChatGPT 改写：设计 instruction，让模型编造一个与 graph 信息不一致的文本；

P.S.：需要获得错误的文本区间

提出两种 non-reward 的图对齐训练方法：Graph-based DPO（GDPO），即利用 DPO 的优化算法，根据上述两个 graph 存在的特性，构建 pair 数据。

74688914f4069512f41b07d9c5ab1038.png

9b5db51a32a3f7d4db91a96d89fb1751.png

实验

实验中，挑选 LLaMA2-7B  作为基座进行模型微调和对齐。整体实验如下图所示，InstructGraph 的总体性能超越 GPT-4。超越了GPT-4 约 13%，超越 GPT-3.5约 38%。

a87ccb51b143bbc99229b3a5f793fb24.png

针对信息抽取任务的图生成任务，进行了较为细粒度的评估。生成一个图通常包含两个角度，一个是判断实体/节点的准确性、另一个是实体/节点之间关系的准确性，结果如下图所示：

48e3ff0d80b6938da5987af212c90cee.png

针对偏好对齐训练后的模型，实验结果如下所示：

2d700e8c6eb0c887fe5ab9bfca0484ba.png

可发现，经过偏好对齐调优后的模型性能可以进一步得到提升，提升效果接近 10%。此外，InstructGraph 在通用的 NLP 任务上效果也能够保持与 LLaMA2 相似的结果。

5b2e98ce6425589bd43795fa42e1f30c.png

outside_default.png

参考文献

outside_default.png

[1] Text2Graph: Harnessing Large Language Models to Generate Knowledge Graphs from Text https://medium.com/@zakaria.hamane1/text2graph-harnessing-large-language-models-to-generate-knowledge-graphs-from-text-141405c67272

[2] Can Language Models Solve Graph Problems in Natural Language? https://arxiv.org/pdf/2305.10037.pdf

更多阅读

cbb11576dd8291051b8a17d3c400ac60.png

207ad5e5849038ae0a9f617ad6a2ba2e.png

4de00243747fa25bac725c3bb8ca88d5.png

56c58e8a0e49030d99907200dd650671.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

eac9f408a5af404697f2a777c514666a.png

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

·

247eb53c61444f08bce676aaa636201f.jpeg

PaperWeekly
关注
Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment
c_cpp_csharp的专栏
04-18 174
当前的大型语言模型（LLM）是否可以通过参数更新更好地解决图推理和生成任务？在本文中，我们提出了InstructionGraph，这是一个框架，通过指令调整和偏好调整，使LLM能够进行图推理和生成。具体而言，我们首先提出了一种结构化格式描述器，将所有图形数据统一为通用的类代码格式，该格式可以简单地表示图形，而无需任何外部的图形专用编码器。此外，引入了图指令调整阶段来指导LLM解决图推理和生成任务。最后，我们识别了图任务中潜在的幻觉问题，并对负实例进行了偏好对齐采样，其目标是提高模型的输出可靠性。
大语言模型原理与工程实践：自动生成数据的风险
AI天才研究院
07-06 1003
在当前的数字化时代，随着人工智能技术尤其是大型语言模型(Large Language Models, LLMs)的发展，自动化生成数据成为可能。这种能力极大地提高了生产率，简化了数据创建流程，并且能够在短时间内产生大量信息。然而，在追求效率的同时，也带来了一系列不可忽视的风险和挑战，特别是涉及数据质量和合规性的问题。大语言模型的核心算法通常基于深度学习，通过大规模训练数据集学习语言模式和上下文关联，进而能够根据给定的输入生成连贯的输出文本。
InstructGraph
shazhusiliaoshe的博客
07-29 376
图和文本之间仍然存在语义差距，这可能会阻碍大型语言模型在图推理和生成方面的表现。大型语言模型往往会生成幻觉，这可能是由捏造的错误输入或缺乏相关知识引起的。这可以视为图幻觉问题。
【大图模型】图智能 + 大模型
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
09-28 531
蚂蚁「大图模型」研究，为图智能迈向AGI铺了一条新通途
text2Graph:文字以图形化实用程序和测试
05-21
text2Graph ==图形实用程序和测试的文本== 测试中型到大型文本语料库的图形表示，以进行文本压缩和模式提取。 该存储库适用于所有与图相关的操作，可以与“ SimilarityMatcher最长公共子序列”算法进行比较。
推荐开源项目：Text2Diagram —— 自然语言描述构建图表的神器！
gitblog_00008的博客
05-27 413
推荐开源项目：Text2Diagram —— 自然语言描述构建图表的神器！ 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 Text2Diagram 是一个创新性的开源项目，它允许开发者和非技术人员通过自然语言文本来创建各种复杂的图表，如架构图、UML、流程图、甘特图、思维导图、序列图、用户旅程图等。只需简单输入文字描述，就能自动生成专业且直观的图表，极大地提升了工作效...
GraphGPT： Graph Instruction Tuning for Large Language Models
qq_41200212的博客
12-04 1773
图神经网络（GNN）通过图节点之间的递归信息交换和聚合来实现高级图结构理解。为了提高模型的稳健性，自监督学习（SSL）已成为一种有前途的数据增强方法。然而，现有的得到预训练图嵌入的方法通常要依赖特定下游任务的标签进行微调，这限制了它们在标记数据稀缺或不可用的场景中的可用性。为了解决这个问题，我们的研究重点是提高图模型在具有挑战性的零样本学习场景中的泛化能力。受大语言模型（LLM）的启发，我们的目标是开发一种面向图的 LLM，即使没有下游图数据中的任何可用信息，也可以在不同的下游数据集和任务中实现高度泛化。
​ACL 2022 | MetaDistil：基于元学习的模型蒸馏
Paper weekly
06-15 1325
©PaperWeekly 原创 ·作者 |BNDSBilly研究方向 |自然语言处理Abstract模型蒸馏是当下较为主流的模型压缩方法，通过将大规模教师模型的知识传递给小规模学生模型，从而既能降低模型大小，提升推理速度，又能得到与原模型基本相当的表现。之前分享的几篇论文大多是对蒸馏目标函数及学生模型架构的探究，但本文的作者转而对教师模型的知识传达能力进行了探究。最...
大语言模型原理与工程实践：常用数据集的完整构建方式
AI天才研究院
07-09 1041
大语言模型原理与工程实践：常用数据集的完整构建方式 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大语言模型, 数据集构建, 自动化文本生成, NLP任务支持, AI系统开发 1.背景介
ACL 2021｜CHASE: 首个跨领域多轮Text2SQL中文数据集
Paper weekly
07-04 1599
©PaperWeekly 原创 ·作者|徐叶琛单位|字节跳动研究方向|NLP语义理解、问答系统自然语言处理语义解析子任务 Text2SQL 旨在将用户的自然语言转换为 SQL...
PyTextGCN:TextGCN的另一种重新实现，这次是使用Cython和PyTorch-geometric
03-15
PyTextGCN 对TextGCN的重新实现。 此实现使用Cython进行文本到图形的转换，因此速度相当快。 图形和GCN基于库。 要求 该项目的构建具有： 的Python 3.8.5 Cython 0.29.21 CUDA 10.2（GPU支持可选） scikit学习0.23.2 pytorch 1.7.0 火炬几何1.6.3 海湾合作委员会9.3.0 nltk 3.5 scipy 1.5.2 至少Text2Graph模块也应该与这些库的其他版本一起使用。 安装 cython编译可以从项目的根目录执行： cd textgcn/lib/clib && python setup.py build_ext --inplace 用法 要从称为X的字符串列表（每个字符串包含一个文档的文本）中计算出图形，请创建名为y的标签列表以及测试索引test_idx的列表，只需运行：
从零开始大模型开发与微调：生成式模型实战：古诗词的生成
AI天才研究院
07-10 885
从零开始大模型开发与微调：生成式模型实战：古诗词的生成 1. 背景介绍 1.1 问题的由来 随着人工智能技术的快速发展，生成式模型在文学创作、艺术创作乃至日常娱乐中扮演着越来越重要的角色。在这一背景下，利用大模型进行古诗词
Graph RAG: 知识图谱结合 LLM 的检索增强
weixin_44324814的博客
10-10 2103
RAG（Retrieval Argumented Generation）这种基于特定任务/问题的文档检索范式中，我们通常先收集必要的上下文，然后利用具有认知能力的机器学习模型进行上下文学习（in-context learning），来合成任务的答案。这次，我们借助 LLM 的力量，强化下 RAG。
Graph-2-Text 项目使用教程
最新发布
gitblog_00514的博客
09-09 952
Graph-2-Text 项目使用教程 graph-2-textGraph to sequence implemented in Pytorch combining Graph convolutional networks and opennmt-py项目地址:https://gitcode.com/gh_mirrors/gr/graph-2-text 1. 项目目录结构及介绍 graph-2-...
text2img笔记: StackGAN StackGAN++ AttGAN
Liekkas_Javey的博客
02-26 3408
StackGAN 1. 实验目标：能够从文字描述中生成256*256照片级真实的图片。 2. 创新点 将文图转换的困难问题通过sketch-refinement过程，分解成更容易控制的子问题。Stage-I GAN 首先基于文本描述描绘出目标主要的形状和颜色。Stage-II GAN将Stage-I的结果和文本描述作为输入，并生成高分辨率的图像级真实的细节。它能够修复Stage-I结果中的不足...
GraphGPT——图结构数据的新语言模型
人工智能讲师分享前沿技术
05-06 1630
GraphGPT是一种新型框架，它通过图指令调整（Graph Instruction Tuning）来提升大型语言模型对图结构数据的理解力和泛化能力。这一框架特别适合于零样本学习场景，即在没有下游任务标签的情况下进行预训练和微调。GraphGPT的核心优势在于其创新的框架设计，该设计专门针对图结构数据的理解与处理进行了优化。1.图结构编码与文本-图基础范式（Text-Graph Grounding）GraphGPT通过一种称为文本-图基础范式的方法，实现了图结构信息与自然语言空间的有效对齐。
ICML2020推荐系统相关论文
weixin_45459911的博客
09-05 395
Graph Convolutional Network for Recommendation with Low-pass Collaborative Filters Optimization and Analysis of the pAp@k Metric for Recommender Systems Optimizing Long-term Social Welfare in Recommender Systems: A Constrained Matching Approach Ordinal Non
大语言模型可以处理图问题吗？
Hanscal
07-15 696
论文提出了一种名为NLGraph的自然语言图解题基准，旨在评估大型语言模型在解决图形结构问题上的能力，并通过引入构建图和算法提示的方法，显著提高了模型在多种图推理任务上的表现，但复杂的图问题推理仍待进一步研究。论文题目：Can Language Models Solve Graph Problems in Natural Language?论文链接：https://arxiv.org/abs/2305.10037PS: 欢迎大家扫码关注公众号，我们一起在AI的世界中探索前行，期待共同进步！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值