KDD 2023 | BPHGNN: 基于行为模式建模的多层异质图神经网络

©作者 | 社媒派SMP

来源 | 社媒派SMP

异质图神经网络在解决有关异质网络数据的各种网络分析任务方面已广受欢迎。但是，大多数现有方法主要集中在一般的异质网络上，并假定两个节点之间只有一种类型的边，而忽略了多层异质网络中节点之间的多层结构特征。此外，图神经网络的过度平滑问题使得现有模型往往只能捕获局部信息，而难以学习到网络的全局信息。

为了应对这些挑战，本文提出了一个用于多层异质网络节点表征学习的模型，命名为基于行为模式的异质图神经网络（BPHGNN）。具体而言，BPHGNN 可以更好的利用多层异质网络中的多层结构特点，并能够自适应的学习不同结构的重要性。

论文题目：

Multiplex Heterogeneous Graph Neural Network with Behavior Pattern Modeling

论文链接：

https://dl.acm.org/doi/10.1145/3580305.3599441

收录会议：

SIGKDD 2023

背景介绍

在现实生活中，许多网络非常复杂，不仅包括多类节点和多种类型的边，甚至在相同的节点对之间，可以同时存在多种类型的交互边。如图 1 所示，电子商务平台中的用户可能具有不同类型的交互（例如，单击、购买、添加到购物车、添加到收藏等），它们形成了多层异质网络。尽管现有的异质网络嵌入方法可以应用于此类网络，但它们往往无法充分利用多层异质网络中的多层结构特点。

▲ 图1. BPHGNN 与 MAGNN、MHGCN 模型在Alibaba数据集上的节点分类任务性能对比（Macro-F1）

而现有的多层异质网络表征学习方法，例如 GATNE、FAME、DualHGNN、MHGCN 等，在一些多层异质网络中展现出了比较优异的性能，但依然存在以下三个问题：

1. 现有的方法大多无法有效地在多层异质网络中对多层结构直接进行建模； 

2. 现有方法更关注低级别语义信息，而忽略了高级别语义信息；

3. GNN 的过平滑问题限制了模型全局表征学习的性能。 

为了应对上述挑战，本文设计了一个新型的基于行为模式的异质图神经网络模型，名为 BPHGNN，用于多层异质网络表征学习。 

具体而言，为了将多层异质网络的多层结构特点融入到模型的表征学习之中，本文首先定义了基本行为模式（BBP）的概念，以模拟多层异质网络中的多层结构。为了自动捕获多层异质网络的局部信息，本文设计了一个深度行为模式聚合模块，该模块可以通过深度行为模式来传递局部信息，并具有自适应地学习不同深度行为模式重要性的功能。

此外，为了学习全局信息，本文提出了一个广度行为模式聚合模块，以根据节点之间的广度行为模式相似性，在全局节点之间实现信息聚合。最后，对比学习用于从局部和全局的角度协作学习节点表示，并融合它们以获得最终的节点表示。在六个现实世界的数据集上的实验验证了我们所提出的 BPHGNN 模型相比最新的基线方法展现出了更优异的性能。

模型框架

▲ 图2. BPHGNN主要由四部分组成

Basic behavior pattern generator 

为了充分利用多层异质网络中节点之间的多层交互结构，本文首先设计了一个基础行为模式生成器，该生成器可以直接从多层异质网络中(ii) 提取所有基础行为模式矩阵。 

首先根据边的类型将多层异质网络解耦，获得生成的子图的基本邻接矩阵。然后，每个邻接矩阵和相应的逻辑变量（即 1 或 0）都使用 XNOR 操作以生成中间矩阵。在这一操作过程中，如果邻接矩阵表示的关系保留在基本行为模式中，则逻辑变量值为 1，如果不保留在基础行为模式中，则逻辑变量值为 0。最后，中间矩阵通过 AND 操作以获得基本行为模式矩阵。

Depth behavior pattern aggregation 

深度行为模式是更长的行为模式，它是多种基本行为模式的组合。它从深度的角度描述了基本的行为模式，因此本文将其称为深度行为模式。深度行为模式聚合的总体过程显示在图的右上部分（棕色）中。 

获得基本的行为模式后，深度行为模式聚合模块的目的是自适应的学习基础行为模式的重要性，从局部角度来学习多层异质网络中节点的表征。 

首先将基础行为模式生成器生成的基础行为模式进行加权聚合。该部分权重是学习获得的，此后将聚合过程获得的邻接矩阵送入到图卷积模块进行信息聚合，在图卷积的过程中使用了 SGC 的思想从而在保证模型准确率无太大变化的同时加快了模型训练速度，最后将各层图卷积获得的节点表征通过一个平均池化获得最终的节点表示。

Breadth behavior pattern aggregation 

广度行为模式用于表示每个节点的基本行为模式的类型和数量。它从广度的角度描述了节点的基础行为模式，因此被称为广度行为模式。该过程如图右下部分（蓝色）所示。 

在该过程中首先对于每一个基础行为模式进行按行相加，从而获得一个列向量，该列向量中每一行的值代表一个节点所含有的特定类型的基础行为模式的数量。之后将每一个基础行为模式获得的列向量进行拼接，便获得了一个广度行为模式矩阵，然后将该广度行为模式矩阵与他的转置相乘并进行 normalization 归一化，最后获得行为模式相似性矩阵。 

与深度行为模式聚合相似，同样是将生成的矩阵送入到 SGC 中进行信息聚合，由于在行为模式相似性矩阵中，两个节点产生的行为模式越相似对应的值越大，并且行为模式相似性完全不依赖于邻居信息，所以该模块进行的信息聚合是从全局的角度进行的。 

Contrastive learning 

对比学习已经在各种图表示学习任务中展现出了优势。本文在深度和广度行为模式聚合之间使用对比学习，以增强模型的表示能力，从而平衡在不同视图中学习到的节点表征。 

在对比学习模块中，将在深度和广度行为模式聚合两个视图中相同的节点视为正样本，不同的节点视为负样本。借助局部和全局节点表示，模块使用了 InfoNCE 函数作为对比学习损失函数。最后通过平均池化将深度行为模式和广度行为模式学习到的节点表征进行聚合获得最终的节点表征。

实验分析

节点分类任务

本文在五个数据集上进行了节点分类任务，分别与 14 个基线方法进行了性能对比，其中 Alibaba-s、Alibaba、Taobao 这三个数据集为多层异质网络数据集，IMDB 和 DBLP 数据集为普通异质网络数据集。 

可以看到 BPHGNN 在五个数据集的节点分类任务中都取得了比较优秀的效果，与效果最好的 baseline 相比，在五个数据集的 Macro-F1 和 Micro-F1 指标上平均取得了 7.8% 和 7.26% 的性能提升。并且在三个多层异质网络上取得的性能提升更为明显，这证明了 BPHGNN 可以更有效的利用多层异质网络上的多层结构信息。

链路预测任务

本文在六个数据集上进行了链路预测任务，其中 Alibaba-s、Alibaba、Taobao、Douban 这四个数据集为多层异质网络数据集，IMDB 和 DBLP 数据集为普通异质网络数据集。在链路预测任务中，BPHGNN 仍然展现出了比较优异的性能，根本原因是 BPHGNN 通过利用网络中的广度行为模式相似性聚合来有效地学习了全局信息，这极大地促进了链接预测任务的性能提升。

消融实验

为了评估模型每个组成部分的有效性，本文进一步进行了有关 BPHGNN 不同模块在节点分类任务上的消融实验，实验结果如上图所示。具体来说，总共生成了四个变体： 

• W/O BBP-此变体使用 MHGCN 中的解耦子图邻接矩阵代替了基本行为模式。 

• W/O Local-此变体删除了深度行为模式聚合模块，即只保留了广度行为模式聚合。 

• W/O Global-此变体删除了广度行为模式聚合模块，即只保留了深度行为模式聚合。 

• W/O Cl-此变体删除了对比学习，并直接将深度行为模式聚合模块和广度行为模式聚合模块的节点表示通过平均池化以获得最终的节点表示。 

实验结果验证了 BPHGNN 中每一个模块都在节点表征的学习过程中发挥了重要的作用。

总结

本文为多层异质网络表征学习提出了一个新的图神经网络模型 BPHGNN，主要由四个组成部分组成：基础行为模式生成器，深度行为模式聚集，广度行为模式聚集和对比学习模块。

BPHGNN 可以通过深度和广度行为模式聚合在多层异质结构中自动捕获局部和全局相关信息，并可以自适应地学习各种行为模式对于多层异质网络表征学习的重要性。在六个真实异质网络数据集上的实验结果验证了所提出的 BPHGNN 在节点分类和链接预测任务上的优越性。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·