Multiplex Heterogeneous Graph Learning (related paper reading)

1.Spectral Heterogeneous Graph Convolutions via Positive Noncommutative Polynomials（PSHGCN）

Links: [2305.19872] Spectral Heterogeneous Graph Convolutions via Positive Noncommutative Polynomials (arxiv.org)

这篇文章把不同长度meta-path的视图相融合，然后用“多项式”总结这一方法，并且将多项式乘以其转置，确保结果的正定性。

Motivation：现有的方法采用手动选择元路径的方法，缺乏可解释性，不能学习谱域内任意可异构图滤波器，且在学习滤波器的过程中没有施加约束，导致学习效率降低，

Method：

1) Spectral Heterogeneous Graph Convolution

是关系i的邻接矩阵，假设meta-path长度为2时，二阶多项式滤波器可以表示为：

依次计算出0meta-path，1meta-path...的多项式，然后每一阶多项式都以一定可学习的系数融合。

2）Positive Spectral Heterogeneous Graph Convolution

关于具体的算法实现如下：

补充一个细节，由于不同类型的node的特征维度不同，所以在进行融合之前先对不同的feature X做了MLP统一他们的维度。

为了将这一方法扩展到大规模图，作者还进一步对方法进行扩展提出了 doubled PSHGCN:

具体方法参考于seHGCN（https://github.com/ICT-GIMLab/SeHGNN）

2. Homophily-Related: Adaptive Hybrid Graph Filter for Multi-View Graph Clustering (AHGFC)

Links: [2401.02682] Homophily-Related: Adaptive Hybrid Graph Filter for Multi-View Graph Clustering (arxiv.org)

这篇文章把高通和低通滤波器相融合，确保能够均衡地学习同质信息和异质信息

Motivation: 传统的图神经网络（GNN）本质上是低通滤波器，丢弃了图上低频信息以外的信息。然而，在某些图上，特别是异质图上，忽略高频信息并仅关注低频信息会阻碍节点表示的学习。

Method: 

1）Graph Joint Aggregation

作者说明单纯的邻接矩阵会导致特征值过于分散，不能很好的区分低通与高通滤波，所以将邻接矩阵信息与节点特征向量融合后得到graph joint aggregation matrix S。

2）Homophily Degree Related Adaptive Hybrid Graph Filter

拉普拉斯矩阵方便得到低频信息，原矩阵方便得到高频信息，将高频信息与低频信息相融合，具体表达式如下：

3) View Weighting and Fusion

对不同视图获得的H加以融合，融合方法如下（看图吧不想打latex了）

其中eva^v 是从计算H和H^v之间的相似度评估函数获得的。

整体的模型如下图：

3. Convolutional Learning on Multigraphs（MGNN）

Links：[2209.11354] Convolutional Learning on Multigraphs (arxiv.org)

这篇文章主要有两个点，一个是不同关系的图信号之间的融合方法，另一个点是对图信号进行池化以简化运算。

Motivation：为了捕获多重图的每个边缘类别内部和之间的信息扩散的复杂动态，形式化了一个卷积信号处理模型，定义了多重图上的信号、滤波和频率表示的概念。

Method：

1) 定义了多图信号处理模型

2）提出了多图神经网络框架

文末还留了一个开放性问题，即如何更好的选择池化模型

4. EMGC2F: Efficient Multi-view Graph Clustering with Comprehensive Fusion

这一篇是从多视图聚类的方法入手的，主要创新点在于采用一步方法来进行聚类而不是生成嵌入表示之后进行聚类。

（这篇文章的图做的很好看，我把他的流程图展示一下子）

Motivation：现有的多视图图聚类模型可以根据学习方案简要分为三种类型。第一类模型（两阶段）旨在从多视图相似性矩阵或谱嵌入中学习一致的谱嵌入，然后可以通过 K-means 或其他基于聚类的过程获得聚类结果关于学习到的光谱嵌入，具体来说，学习方案主要包括核近似，流形逼近  和图重建。第二种模型（单阶段）旨在从多视图相似度矩阵中学习块对角相似度矩阵，其中学习的块对角相似度矩阵直接指示聚类结果。现有的此类学习方案主要包括 Frobenius 范数最小化 和内积最小化。第三类模型（单阶段）旨在从多视图光谱嵌入中学习一致的聚类（软）指示矩阵，学习方案包括分解近似，自适应Procrustes 等。

Method：

1）优化下列目标函数：

5.Deep Multi-View Subspace Clustering with Anchor Graph

Links:[2305.06939] Deep Multi-View Subspace Clustering with Anchor Graph (arxiv.org)

使用子空间投影的方法得到不同视图的锚图并对其进行谱聚类，锚图可以显著降低计算复杂度，并且使用伪标签细化嵌入过程。

Motivation：现有的DMVSC方法仍然存在两个问题：（1）它们主要集中于使用自动编码器来非线性嵌入数据，而嵌入对于聚类来说可能不是最优的，因为自动编码器中很少考虑聚类目标；（2）现有方法通常具有二次甚至三次复杂度，这使得处理大规模数据具有挑战性

Method:

通过构建锚图和学习特征矩阵获得亲和矩阵C，然后对C试试谱聚类并且计算loss，对于上述算法提到的Eq.(11)如下：

其中Q代表伪标签P代表真实标签

公式13如下：

最后再在学习到的特征向量上实施kmeans

6.Simple and Efficient Heterogeneous Graph Neural Network

Links:[2207.02547] Simple and Efficient Heterogeneous Graph Neural Network (arxiv.org) 

同时关注不同长度的元路径并使用基于transformer的半监督融合机制对异质信息进行融合。

（邻居信息不需要采用不同的注意力融合，可以知己取平均融合，但是语义信息需要不同的注意力融合）

Motivation：现有的 HGNN 继承了为同质图设计的图神经网络（GNN）的许多机制，特别是注意力机制和多层结构。这些机制带来了过度的复杂性，但很少有人研究它们在异构图上是否真正有效。

Method:

1)简化的邻居聚合

邻居聚合：

加入one-hot形式的标签监督：

2）多层特征融合

3）基于transformer的半监督融合

算法总览：

7. Multiplex Heterogeneous Graph Neural Network with Behavior Pattern Modeling（BPHGNN）

Links: Multiplex Heterogeneous Graph Neural Network with Behavior Pattern Modeling (acm.org)

这篇文章主要引入了行为模式的概念，将节点之间的多重关系抽象为行为模式，将传统的邻居信息聚合视为局部信息，将全局行为模式之间的相似性比较视为全局信息，对局部信息和全局信息对比学习。

Motivation：首先大多数Multiplex Heterogeneous Graph只关注于邻居信息的融合，而忽略了整体的拓扑信息，同时许多时候两个节点之间并不是单一关系而是多重关系；其次许多模型也存在着over smoothing的问题，并且多重结构蕴含着更丰富的语义信息，如相互促进或相互抑制等，不应简单地视为个体关系的线性叠加。

Method：

1）Basic Behavior Pattern Generator

不同关系邻接矩阵点乘得到新得行为模式关系

2）Basic Behavior Pattern Generator

不同行为模式矩阵加权重相加

3）Breadth Behavior Pattern Aggregation

将不同模式矩阵进行行sum然后concat起来，并对concat之后的矩阵乘以其逆矩阵并正则化

4）Contrastive Learning

对上述方法得到的两个矩阵进行对比学习

8. Heterogeneous Graph Masked Autoencoders (HGMAE)

Links: Heterogeneous Graph Masked Autoencoders | Proceedings of the AAAI Conference on Artificial Intelligence

首次将自监督的生成模型SSL应用到异质图中

Motivation：对比方法有其固有弊端，合理设计的掩码编码器可以极大程度改善这一问题

Method：

1）Metapath-based Edge Reconstruction

分别对每一层邻接矩阵进行掩蔽，编码，解码，对每一层的编码效果计算Loss并且使用注意力机制为每一层的loss分配不同的注意力，然后加起来作为基于元路径边的重建损失

2）Target Attribute Restoration

在对待节点属性的掩蔽上采用可调节的动态掩蔽，同时也采用了Leaving Unchanged and Replacing策略，也得到一组重建损失

3）Positional Feature Prediction

首先使用Mp2vec提取节点的位置特征，然后使用MLP作为解码器对2)中所得的H进行解码，最后得到关于位置特征的预测损失

综合上述陈述，模型的整体框架如下，注意三组模型采用的编码器和解码器

9. An Efficient Subgraph-Inferring Framework for Large-Scale Heterogeneous Graphs（SubInfer）

Links: An Efficient Subgraph-Inferring Framework for Large-Scale Heterogeneous Graphs | Proceedings of the AAAI Conference on Artificial Intelligence

针对大规模异构图划分子图，并补全子图信息进行，提高训练和收敛速度。

Motivation: 随着异构图大小的增加，这些模型所需的时间和内存开销迅速增加，甚至达到不可接受的水平。同时如何划分子图，如何尽可能减小划分子图时的信息丢失也是需要关系的问题。

Method:

1) Subgraph Partition

首先要确定划分子图的方法，文中用了Metis方法，切割时候的原则是要使得子图尽可能的大小相近并且切割的边尽可能少。上述方法可以直接运用到能得到同质图的元路径邻接矩阵中，对于异质图元路径，本着使得每个子集的节点数量尽可能均匀的原则划分子集。

2）Subgraph Completion

在全局图中取度数较高的节点补全到子图中

3）Subgraph Training and Inferring

使用常见的HGNN模型进行推理训练

10. Dual Label-Guided Graph Refinement for Multi-View Graph Clustering

Links: Dual Label-Guided Graph Refinement for Multi-View Graph Clustering | Proceedings of the AAAI Conference on Artificial Intelligence

使用双标签引导图细化，从而减轻面对低同亲图的脆弱性，第一个模块旨在从节点特征和图中提取软标签，然后学习细化矩阵。与第二个模块的伪标签配合，这些图以不同的顺序自适应地细化和聚合。随后，可以在伪标签的指导下生成共识图。最后，图编码器模块对共识图和节点特征进行编码，以生成用于迭代聚类的高级伪标签。

Motivation: 现有的MVGC方法通常对给定的图很敏感，特别是受到低质量图的影响，即它们往往受到同质性假设的限制。然而，广泛存在的现实世界数据很难满足同质性假设。这一差距限制了现有 MVGC 方法在低同亲图上的性能。

Method:

1）Soft Label Guided Graph Refinement

使用编码器学习节点特征矩阵得到Z并用得到一个包含了类信息和同亲信息的矩阵，然后将这个矩阵加到不同视图的邻接矩阵上可以得到调整后的细化矩阵。

2）Pseudo Label Guided Graph Refinement and Graph Fusion

利用伪标签计算每一层图的同质度，以同质度指导邻居融合的阶数。用伪标签获得的score来指导不同视图融合为共识图的权重

结合1）2）得到每一层图的细化公式为：

融合公式为：