论文浅尝 | 消息传递神经网络真的有助于知识图谱补全吗?

研究发现,消息传递机制在基于图神经网络的知识图谱补全任务中并非性能提升的主要原因。评分函数和损失函数的影响远大于消息传递。基于MLP的模型在没有消息传递的情况下也能取得与MPNN模型相当甚至更好的效果,且具有更高的效率和可扩展性。
摘要由CSDN通过智能技术生成

ec316cb9973ac01c36139988d1f4f5ad.png

笔记整理:郭荣辉,天津大学硕士,研究方向为知识图谱

链接:https://aclanthology.org/2023.acl-long.597/

1、引言

本文发现基于消息传递机制的模型在KGC任务中,消息传递并不是KGC性能提升的最主要原因。

由于KGs固有的图结构,图神经网络( Graph Neural Networks,GNNs )被用来学习实体和关系的嵌入,从而促进KGC。现有的基于MPNN的GNN模型通过在图上的消息传递( Message Passing,MP )过程来更新节点特征,其中每个节点从其邻居收集并转换特征。本文发现,将RGCN、CompGCN和KBGAT模型中的MP替换为简单的MLP,仍然达到了相当的性能。更进一步的,本文仔细研究了这些基于MPNN的模型,发现它们在其他关键组件,如评分函数和损失函数方面也有所不同。为了更好地研究这些组件对模型的贡献,本文进行了综合实验来证明每个组件的有效性。结果表明,评分函数和损失函数的影响更大,而 MP 几乎没有贡献。基于此研究结果,本文开发了建立在 MLP 基础上的集合模型,与基于 MPNN 的模型相比,这些模型能够获得更好的性能;考虑到 MLP 相对于 MPNN 在可扩展性方面的优势,这些研究结果在实践中具有强大的意义。

<
知识图谱transformer是一种基于图谱结构的编码器模型,用于学习和表示知识图谱中的关系。它采用了类似于普通transformer模型的框架,但在结构上有一些差异。通过引用可以看到,知识图谱transformer的框架图与普通transformer模型相似。然而,为了更好地利用图谱中的关系结构,解决了线性/层次约束的问题,作者提出了一种新的Graph Transformer编码器,如引用所述。这种编码器允许模型有效地利用图谱的结构信息,从而更好地学习和表示知识图谱中的关系。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [论文浅尝 | 利用图 Transformer 实现基于知识图谱的文本生成](https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/100190240)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [基于生成式预训练Transformer的跨媒体内容生成及知识图谱构建](https://blog.csdn.net/universsky2015/article/details/131468154)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值