论文《Towards Learning from Graphs with Heterophily：Progress and Future》笔记

这是2024年发表在arXiv上的一篇异配图神经网络综述，比较好理解，适合入门学习。代码已开源。

0、核心内容

在本综述中，我们全面概述了现有的异配图学习的工作。

首先，我们总结了过去5年在顶级会议或期刊上发表的180多篇高质量论文，包括但不限于ICML、NeurIPS、ICLR、KDD、WWW、TPAMI等，并介绍了这一领域的发展。

然后，我们系统地基于层次分类法对现有的方法进行了分类，包括学习策略（learning strategies）、模型体系结构（model architectures）和实际应用（practical applications）。

最后，我们讨论了现有研究的主要挑战，并强调了未来研究的潜在途径。

（引自摘要）

1、图同质性/异配性发展历程

• 早在2019年，MixHop首次提出捕获除同质性之外更复杂的模式，并进行了合成实验来分析异配性对GNNs的影响，这为异配图（heterophilous graph）学习铺平了道路。
• 在早期阶段，许多研究解耦GNNs的结构并利用高通滤波器，从而提高了异配图的性能。这些工作大多集中在（半）监督学习上。
• 近年来，无监督学习引起了广泛的关注，许多研究试图以自我监督的方式揭示异配图的内在模式，比如对比学习和生成学习。
• 目前，由于Transformer等强大架构的出现，许多高级框架不再局限于传统的信息传递方案。
• 与此同时，随着LLMs的快速学习浪潮，也有一些努力在异配图中研究这个主题。
• 与“预训练和微调”（“pre-training & fine-tuning”）范式不同，“预训练和提示挑战”（“pre-training & prompt-tuning”）范式将预训练和下游任务的目标对准，在只有少量标记数据的情况下实现了良好的性能，同时避免了对整个预训练模型参数的微调。

2、图：所收集到的论文的统计数据

通过图中（a）可以看到，该领域的论文近几年数量剧增；（b）展示了该领域相关的学术会议；（c）是该领域10个主要的关键词。

3、分类

① 根据Learning Strategies（学习策略）分类：

个人认为这一part比较重要。

② 根据Architectures（系统体系结构）分类：

③ 根据Applications（实际应用）分类：

4、挑战和未来展望

挑战1：异配图数据集基准

论文《Graph Neural Networks for Graphs with Heterophily：A Survey》总结了现有的异配图学习的基准数据集（2022年的异配图神经网络综述，后面会分享笔记）。

然而，这些数据集存在以下约束条件：数量不足、规模有限、域限制和数据泄露。虽然异配图在实际场景中很普遍，但基准数据集的数量远少于同质图。此外，大多数现有的基准都是小规模的。尽管最近发布了大规模的异配图数据集，但它们非常有限，不足以全面促进大规模学习。此外，一些基准是人为合成的，区域受限（例如，社交网络），甚至有数据泄露问题。因此，迫切需要跨不同领域的不同可靠的数据集，如生化信息和金融交易网络，进行广泛的研究。

挑战2：模型鲁棒性和可解释性

模型的鲁棒性和可解释性是异配图中的两个值得学习的主题。

对于前者，模型对节点特征攻击、图结构攻击和标签噪声始终表现良好。由于相邻节点往往具有不同的特征和标签，图的异配性阻止了每个节点从相邻节点那里获取信息，以预防攻击和纠正噪声。

异配性也对可解释性的研究提出了挑战。与同配图（homophilous graphs）不同的是，为异配图中的节点提取一个可解释的子图需要同时探索近端节点和远端节点。在同配图中，我们至少可以通过基于同质性假设引用节点的邻居来解释节点的预测标签，这在异配图中则失效。此外，如果获得基本事实来评估异配图上的解释器，目前还没有达成共识。

挑战3：综合性的度量标准和设置

图的异配性指标已被广泛地与各种图分析任务集成。虽然已经提出了一些度量方法，如节点和边的同质性，但它们只能部分地表征图的异配性，并且对标签的数量很敏感，这可能会对异配图的学习产生不利影响。为了解决这个问题，最近最近很少的研究提出了更全面的指标，但它们还远远不够。因此，一个有希望的方向是探索更多创新的指标，可以捕获更深层的异配图的属性，并进一步促进从异配图的学习。

此外，大多数现有的度量方法都是基于给出图中所有节点的标签的前提下，获取图的异配性。然而，在实际情况下，这是不可行的。如何用一小部分标记节点估计图的异配性值得进一步探索。

值得注意的是，现有的大多数工作都集中在节点/图分类任务上。更多的分析任务和学习设置，如链接预测、弱监督学习和少镜头学习（few-shot learning）也需要深入研究。

挑战4：主干架构和工具

主干架构的设计是异配图学习的关键因素。关于模型的主干，我们已经澄清了MPNNs具有局部聚合的基本限制，而Transformers是time-expensive的。这就需要研究更先进的主干架构，它可以结合MPNNs和Transformers的优势。

最近，LLMs（大语言模型，简称大模型）也引起了广泛的关注。尽管取得了成功，但LLMs在处理图结构数据以及文本和图像方面还没有显示出强大的能力。由于图的异配性，LLMs更难理解和生成异配图。然而，LLMs仍然可以作为异配图学习的强大的外部工具。揭开LLMs在异配图学习中的应用面纱可能是整个领域具有里程碑意义的工作，值得突出和特别关注。

5、心得

① 可以引用本文的地方：异配图神经网络的发展对模型的鲁棒性提出了挑战。由于相邻节点往往具有不同的特征和标签，图的异配性阻止了每个节点从相邻节点那里获取信息，以预防攻击和纠正噪声。因此，设计针对异配图的攻击和防御算法可以帮助提高模型的鲁棒性。

② 可以针对分类中的几类异配图神经网络设计对抗攻击和防御算法。

③ 研究方法：可以根据挑战和未来工作选择研究方向，然后基于分类中现有的图神经网络有针对性的展开研究。