异质图神经网络（持续更新ing...）

诸神缄默不语-个人CSDN博文目录

本文将对异质图神经网络（HGNN, heterogeneous graph neural networks）的方法演变进行梳理和介绍。

1. 异质图

节点或者边的种类>1即可。
如果节点种类为1，边种类>1，叫multiplex graph。

2. 处理为同质图

直接将节点类型和边类型编码到节点属性中

缺点：不符合GNN内蕴的smoothness假设¹，节点/边类型是离散数值，往往与节点特征不共享结构。

3. 知识图谱嵌入

1. TransE: Translating Embeddings for Modeling Multi-relational Data
2. DistMult
3. ComplEx
4. RotatE
   (2019 ICLR) RotatE: Knowledge Graph Embedding by Relational Rotation in Complex Space

这部分我之前写过相关的博文：cs224w（图机器学习）2021冬季课程学习笔记12 Knowledge Graph Embeddings_诸神缄默不语的博客-CSDN博客

RotatE的官方项目，但是集成了各种嵌入模型：DeepGraphLearning/KnowledgeGraphEmbedding

其他集成性参考资料：【知识图谱】知识图谱嵌入模型简介

4. 传统图学习方法

4.1 meta-path系

random walk / PageRank
skip-gram

PathSim: Meta Path-Based Top-K Similarity Search in Heterogeneous Information Networks

Meta-Path-Based Ranking with Pseudo Relevance Feedback on Heterogeneous Graph for Citation Recommendation

metapath2vec: Scalable Representation Learning for Heterogeneous Networks：基于metapaths的随机游走+heterogenous skip-gram

HERec: Heterogeneous Information Network Embedding for Recommendation：根据metapath邻居将异质图转换为同质图，用类似DeepWalk的方法学习表征

HIN2Vec: Explore Meta-paths in Heterogeneous Information Networks for Representation Learning：捕获并区别metapaths的信息
多任务学习目标（同时学习节点和metapath的表征）

4.2 subgraph系

将每种关系下的图视作一个子图，然后联合学习这些子图：

Embedding of Embedding (EOE): Joint Embedding for Coupled Heterogeneous Networks

PTE: Predictive Text Embedding through Large-scale Heterogeneous Text Networks：将LINE扩展到异质图上

AspEm: Embedding Learning by Aspects in Heterogeneous Information Networks

4.3 其他

1. 嵌入到不同的空间中，或relation embedding：
   1. HEER: (2018 KDD) Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks：考虑异质图中类型不同导致的语义不兼容问题²
      改进PTE，通过边表征考虑种类相似性
   2. (2018 KDD) PME: Projected Metric Embedding on Heterogeneous Networks for Link Prediction³
      度量学习
   3. (2020 ICLR) Composition-based Multi-Relational Graph Convolutional Networks：差不多意思就是在同质图GNN上加个关系嵌入。我记得同质图GNN那边也有加上边嵌入的，但是我没关注过这块儿的研究
2. BHIN2vec: Balancing the Type of Relation in Heterogeneous Information Network：随机游走+skip gram+多任务，解决HIN中不同种类边数不平衡的问题
3. HAKE: (2020 AAAI) Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction
   将实体映射到极坐标系中，建模知识图谱中的语义层次结构
   径向坐标旨在建模不同层次的实体，半径较小的实体预计处于更高的层次；角度坐标旨在区分处于同一层次的实体，这些实体预计具有大致相同的半径但不同的角度。⁴

5. GNN + Bi-level aggregation scheme

首先聚合同一类/组中的邻居，然后对其进行聚合（求平均或用注意力机制加权求和）。

RGCN: Modeling Relational Data with Graph Convolutional Networks：每种边一个图卷积层

(2019 NeurIPS) GTN: Graph Transformer Networks：自动学习metapaths（通过图transformer层生成所有可能的联系，在新图上运行图神经网络）

(2019 WWW) HAN: Heterogeneous Graph Attention Network：attentively聚合metapath-based neighborhoods学到的特征

(2019 KDD) HetGNN: Heterogeneous Graph Neural Network：用RWR抽样异质邻居，按节点类型分类，然后聚合

(2020 WWW) MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding：首先对节点特征进行转换，然后聚合metapath内部信息，然后聚合各metapath的信息

GATNE: Representation Learning for Attributed Multiplex Heterogeneous Network⁵

(2020 WWW) HGT: Heterogeneous Graph Transformer：对每个边建模异质attention，隐式学习metapath

缺点：可能会忽略节点信息（尤其在关系种类不平衡时，大类的节点个体信息可能会被忽略 (downweight)）

6. GNN + 自监督学习

1. 综述
   Self-supervised on Graphs: Contrastive, Generative, or Predictive
2. 研究工作
   1. (2019) HDGI: Heterogeneous Deep Graph Infomax
   2. (2020 AAAI) DMGI: Unsupervised Attributed Multiplex Network Embedding：对齐每个视图（通过metapaths生成）上的原始网络和corrupted网络
   3. (2021 KDD) HeCo: Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning：基于metapaths和network分别构建视图
   4. (2022 SDM) STENCIL: Structure-Enhanced Heterogeneous Graph Contrastive Learning：跨视图+对比学习+结构嵌入
      跨视图：保证视图之间一致性最大化→基于metapaths构建视图（metapath实例起终点构成的同质图）→最大化同一节点在不同视图上嵌入的相似性→将各视图的嵌入attentively聚合
      结构学习：认为节点嵌入点击不足以建模节点相似性，所以补充了PPR和Laplacian positional embedding

7. 其他

1. 一步聚合
   1. HIME: Heterogeneous graph embedding with single-level aggregation and infomax encoding
      对节点特征应用MLP（每一种节点用一个模型），直接进行聚合。损失函数鼓励邻居相近+信息最大化（以促进同质性）
2. 考虑不同模态、不同transductive/inductive场景下的GNN场景
   inductive链路预测：
   DEAL Re9：读论文 DEAL Inductive Link Prediction for Nodes Having Only Attribute Information
   LeSICiN Re6：读论文 LeSICiN: A Heterogeneous Graph-based Approach for Automatic Legal Statute Identification fro
   这两篇本身做的任务都很niche，但是我认为这个研究topic本身是可以很general、是很有研究价值的（意思是我觉得前途无量，但是我不会做）

8. 其他参考资料

1. Heterogeneous Information Network Analysis and Applications
2. (2022 Transactions on Big Data) A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources

---

1. Revisiting Graph Neural Networks: All We Have is Low-Pass Filters ↩︎

2. 相关阅读笔记博文：
   【论文泛读】Easing Embedding Learning by Comprehensive Transcription of Heterogeneous Information Networks_JinyuZ1996的博客-CSDN博客
   【论文解读 KDD 2018 | HEER】Easing Embedding Learning by Comprehensive Transcription of HIN_byn12345的博客-CSDN博客 ↩︎

3. 还没看，但是可资参考的阅读笔记博文：【论文解读 KDD 2018 | PME】PME: Projected Metric Embedding on Heterogeneous Networks for Link Prediction_pme 算法_byn12345的博客-CSDN博客 ↩︎

4. 还没看，但是可资参考的阅读笔记博文：可建模语义分层的KG embedding for relation/link completion_秃然变强了的博客-CSDN博客
   AAAI 2020 开源论文 | 可建模语义分层的知识图谱补全方法 ↩︎

5. 相关阅读笔记博文：
   GATNE代码部分讲解_酸辣螺丝粉的博客-CSDN博客 ↩︎