论文《PC-Conv：Unifying Homophily and Heterophily with Two-Fold Filtering》笔记

本文链接：https://blog.csdn.net/bunny___/article/details/139627014

【PC-Conv】提出一种新的机制，能够在不同同配性水平的图上同时提取同配性和异配性信息。

发表在2024年AAAI会议上，作者是中国电子科技大学的，引用量4，开源代码可以复现。

AAAI会议简介：由人工智能促进协会AAAI（Association for the Advancement of Artificial Intelligence）主办，人工智能顶会，CCF A。

查询会议：

会伴：https://www.myhuiban.com/
CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

paper原文：https://ojs.aaai.org/index.php/AAAI/article/view/29246
开源代码：https://github.com/uestclbh/PC-Conv

0、核心内容

问题背景：现有的图表示学习方法在处理具有强同配性或强异配性的图上取得了不错的效果，但无法很好地泛化到现实世界中同配性和异配性不同程度混合的图上。
研究目标：提出一种新的机制，能够在不同同配性水平的图上同时提取同配性和异配性信息。
方法介绍：
- 提出了一种两重过滤机制，用于在异配图中提取同配信息，反之亦然。
- 扩展了图热方程，用于执行异配性全局信息的聚合。
- 利用Possion-Charlier（PC）多项式来近似得到的滤波器。
PC-Conv架构：提出了一种强大的图卷积PC-Conv，以及其实例化PCNet，用于节点分类任务。PC-Conv能够利用多阶信息，并具有可学习的参数。
性能对比&实验验证：与现有的GNNs相比，PCNet在同配图和异配图上都展现出了竞争性的性能。通过在多个数据集上进行实验，证明了PCNet在节点分类任务上达到了最先进的性能。

在这里插入图片描述

The main contributions of this paper are summarized as follows:

Two-fold filtering mechanism: We develop a filering strategy to perform both homophilic and heterophilic aggregation in any graph with different levels of homophily.
Heterophilic graph heat kernel: We extend the graph heat kernel to heterophilic graph and integrate it with a low-pass filter to form a novel PC-filter.
PC-Conv: We propose PC-Conv to explore multi-order information with learnable parameters. An exhaustive spectral analysis is also presented.
PCNet: We instantiate PC-Conv with a simple GNN architecture, that is, PCNet. Experiments on node classification demonstrate the state-of-the-art (SOTA) performance.

1、先验知识

① 什么是异配图热核（heterophilic graph heat kernel）？

异配图热核是一种用于处理异配图数据的新型图卷积机制。异配图是指图中连接的节点倾向于具有不同的标签或特征，与同配图相对，后者指图中相似节点更可能相互连接。

heterophilic graph heat kernel的关键特点：

全局信息聚合：该机制利用图热方程（graph heat equation）来聚合全局信息，特别是针对那些在局部邻域内可能缺乏足够同质性信息的异配性节点。
扩展图热方程：作者将传统的图热方程扩展到异配图上，通过这种方式，可以捕捉到更远距离的节点信息，从而为异配性节点提供更丰富的结构信息。
利用互补图：为了处理异配性节点的全局信息聚合问题，作者提出了使用互补图（complementary graph）的概念。互补图通过调整节点的自环信息，可以提供缺失的一半结构信息，有助于缓解不同类别节点间的信息聚合问题。
信息扩展公式：通过泰勒展开，作者将异配图的信息扩散过程表达为一个级数，这个级数考虑了奇阶和偶阶邻居的不同处理方式，以符合异配图的结构特性。
灵活的邻居聚合：与固定邻居大小的方法不同，异配图热核可以利用无限阶的邻居信息，并且随着阶数的增加而逐渐衰减，这提供了比传统方法更高的灵活性。
PC-Conv的组成部分：heterophilic graph heat kernel是PC-Conv架构中的一个关键组成部分，它使得PC-Conv能够更好地处理异配图，并在节点分类任务重取得更好的性能。

heterophilic graph heat kernel是论文中提出的一种新颖的图卷积方法，它通过扩展图热方程来聚合异配图中的全局信息，从而提高了图神经网络在处理具有不同标签或特征的节点时的性能。

② 什么是图热方程（graph heat equation）？

**图热方程（Graph Heat Equation）是图论和偏微分方程领域中的一个概念，它用于描述图上节点特征随时间的扩散过程。**这个方程通常用来模拟热如何在物理空间中传播，但在这里被用作一个数学工具来分析图结构上的动态过程。

在图热方程的背景下，图被视为一个离散的空间，节点代表空间中的点，而边代表点之间的连接。图热方程的一般形式可以写作：
$\frac{d\mathbf{x}(t)}{dt} = -L \mathbf{x}(t)$
其中：

$\mathbf{x}(t)$ 是一个向量，表示在时间 $t$ 时图中所有节点的特征（或状态）。
$L$ 是图的拉普拉斯矩阵（Laplacian matrix），它是一个与图的结构相关的矩阵，定义为 $L = D - A$ ，其中 $D$ 是度矩阵， $A$ 是邻接矩阵。

图热方程的解可以表示为：
$\mathbf{x}(t) = e^{-tL} \mathbf{x}(0)$
这里， $e^{-tL}$ 是拉普拉斯矩阵 $L$ 的指数函数，它描述了初始状态 $\mathbf{x}(0)$ 在时间 $t$ 后如何通过图的拓扑结构进行扩散。

图热方程在图神经网络中有着重要的应用，特别是在谱图卷积网络（spectral GNNs）的设计中。通过将图热方程与傅里叶变换结合，可以设计出能够捕捉图上不同频率信号的图卷积滤波器，从而实现对节点特征的非局部聚合。

在本文中，作者扩展了图热方程到异配图上，通过这种方式，可以更好地聚合全局信息，尤其是在处理那些连接节点倾向于不同类别的图时。这种扩展允许模型利用更广泛的邻域信息，从而提高图神经网络在异配图上的性能。

③ 什么是图优化框架（Graph Optimization Framework）？

图优化框架是一种数学方法，用于设计和分析图神经网络中的图卷积操作。这个框架通过优化问题的形式来表达图上的信号平滑和特征转换过程。

平滑性约束：优化问题的第一项通常是一个基于图拓扑结构的平滑性约束，它确保了图上相邻节点的特征向量在变换后仍然保持相似。
能量函数： $h (L)$ 作为能量函数，用于控制平滑性约束的强度，其中 $L$ 是图的拉普拉斯矩阵。
特征保留：优化问题的第二项是一个数据拟合项，它通过一个正则化参数 $α$ 平衡信号平滑和原始特征信息的保留。
闭式解：通过设置导数为0的方法，可以为优化问题找到一个闭式解，从而得到图卷积的滤波器 $g (L)$ 。
滤波器设计：设计不同的能量函数 $h (L)$ 可以对应不同的滤波器 $g (L)$ ，这允许在图上实现不同的特征聚合和变换策略。
正半定性：在图优化框架中， $h (L)$ 需要是正半定的，以确保优化问题是凸的，从而可以得到全局最优解。
连接滤波器和能量函数：通过优化框架，可以建立 $h (L)$ 和 $g (L)$ 之间的关系，从而为设计图卷积滤波器提供理论基础。

在论文中，作者使用图优化框架来设计一种新的图卷积滤波器，称为PC-Conv，它通过两重过滤机制同时处理同配性和异配性信息。这种设计允许模型更灵活地捕捉图中的复杂模式，并提高在不同类型图数据上的性能。通过图优化框架，作者能够提供对PC-Conv滤波器设计的深入理解和严格的数学分析。

一个典型的图优化问题是：
$\min_{Z} \quad f(Z) = \text{Tr}(Z^{\top} h(L) Z) + \alpha \|Z - X\|_F^2$
其中，第一项是基于图拓扑结构和能量函数（energy function） $h (\cdot)$ 的信号的平滑约束（smoothness constraint）；第二项强制 $Z$ 从原始特征 $X$ 中保留尽可能多的信息，其中 $α > 0$ 是一个平衡参数。