论文浅尝 | 异构图 Transformer

开放知识图谱

于 2021-10-13 21:10:00 发布

阅读量2.2k

点赞数 1

文章标签：人工智能 java 机器学习深度学习算法

本文链接：https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/120755172

版权

本文探讨了一种处理异构图的新方法，通过将边的模型参数分解为三个矩阵相乘，形成元关系。这种方法避免了手工定义元路径，考虑了异构图的动态特性，适用于大规模异构图建模。模型框架包括Heterogeneous Mutual Attention、Heterogeneous Message Passing和Target-Specific Aggregation三个部分，通过引入相对时间编码（RTE）处理动态图，并设计了HGSampling算法处理大规模数据。实验表明，该方法在处理异构图数据时表现出优越性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

笔记整理：许泽众，浙江大学博士在读

论文链接：https://arxiv.org/abs/2003.01332

本文主要提出一种处理异构图的方法，所谓异构图（Heterogeneous graph）是指在一个图中会出现不同类型的边和节点的图。早期对于图的处理图的方法一般集中于同构图的处理。近年来开始关注对异构图的处理，但是一般都具有以下缺点：

1.大多涉及到为每种类型的异构图设计元路径（meta-path），但是这种元路径需要手工定义，这不仅需要领域知识，同时降低了效率；2.或者假设不同类型的节点/边共享相同的特征和表示空间，这显然是不合适的；或者单独为不同节点类型或边类型保留各自单独的非共享权重，这忽略了异构图之间的交互性；3.大多忽略了每一个（异构）图的动态特性（个人觉得这一点和之前的两点不是在解决同一个问题，应该知只是为了丰富文章内容）；4.无法对Web规模的异构图进行建模。

为了处理异构图，文章的核心思想是将每条边的模型参数分解为三个矩阵相乘。其分解根据每条边的三元组 <初始节点类型，边类型，目标节点类型>来定义。这就是文中所提的元关系（meta-relation）。整体的计算参照transformer。以下图为例：