论文《Cross-Space Adaptive Filter：Integrating Graph Topology and Node Attributes for Alleviating the Ov

最新推荐文章于 2024-09-14 19:18:15 发布

Bunny_Ben

最新推荐文章于 2024-09-14 19:18:15 发布

阅读量662

点赞数 18

分类专栏：论文阅读笔记（异配图神经网络）文章标签：深度学习笔记神经网络人工智能

本文链接：https://blog.csdn.net/bunny___/article/details/139804295

版权

论文阅读笔记（异配图神经网络）专栏收录该内容

21 篇文章 0 订阅

订阅专栏

【CSF】本文是关于GCN的过度平滑问题。过度平滑问题是指在深层GCN中，节点表示变得难以区分，导致性能下降。为了解决这个问题，作者们提出了一种名为Cross-Space Filter（CSF）的新型自适应滤波器。CSF结合了图拓扑和节点属性空间的信息，以产生自适应频率信息。

第一作者是四川大学的，本文发表在2024年WWW会议上，引用量0。

WWW会议简介：全称International World Wide Web Conference（万维网国际会议），是由国际万维网会议委员会发起主办的顶级国际学术会议，CCF A。

查询会议：

会伴：https://www.myhuiban.com/
CCF deadline：https://ccfddl.github.io/

原文和开源代码链接：

paper原文：https://arxiv.org/abs/2401.14876
开源代码：https://github.com/huangzichun/Cross-Space-Adaptive-Filter

0、核心内容

普通的图卷积网络（GCN）使用低通滤波器从图拓扑中提取低频信号，这可能会导致GCN深入时的过平滑问题。为此，人们提出了各种方法，通过合并从图拓扑中提取的额外滤波器（比如高通滤波器）来创建自适应滤波器。

然而，这些方法严重依赖拓扑信息，忽略了节点属性空间，严重牺牲了深度GCN的表达能力，特别是处理异配图（disassortative graphs）时。

在本文中，我们提出了一种跨空间自适应滤波器（cross-space adaptive filter），称为CSF，以产生从拓扑空间和属性空间中提取的自适应频率信息。

具体地说，我们首先推导了一个定制的基于属性的高通滤波器，它可以在理论上解释为半监督核岭回归的最小化器。然后，我们将基于拓扑的低通滤波器转换为GCNs环境中的Mercer的内核。这为将其与基于属性的滤波器相结合来捕获自适应频率信息提供了基础。最后，通过一种有效的多核学习策略，结合了基于属性的高通滤波器和基于拓扑的低通滤波器，得到了跨空间滤波器。这有助于在保持效率的过度平滑的同时解决问题。

大量的实验表明，CSF不仅成功地缓解了过平滑问题，而且提高了节点分类任务的有效性。

（引自摘要）

1、先验知识

① 什么是岭回归（Ridge Regression）？

岭回归是一种线性回归分析的变体，它通过引入正则化项来解决普通最小二乘法（OLS）在某些情况下的不足，特别是在处理共线性数据（即特征之间高度相关）时。岭回归的基本思想是在损失函数中添加一个L2正则项，以约束模型参数的大小，从而提高模型的泛化能力。

正则化（Regularization）：在损失函数中添加一个额外的项，用来惩罚模型参数的大小，防止模型过拟合。
L2正则项：岭回归使用的是L2范数作为正则化项，即参数平方和的根。这导致模型倾向于选择较小的参数值。
损失函数：岭回归的损失函数是普通最小二乘损失加上一个正则化项，可以表示为：

$\text{Loss} = \|\mathbf{y} - \mathbf{X}\mathbf{\beta}\|_2^2 + \lambda\|\mathbf{\beta}\|_2^2$

其中， $y$ 是目标值向量， $X$ 是特征矩阵， $β$ 是参数向量， $λ$ 是正则化参数，控制正则化的强度。
正则化参数（Regularization Parameter）： $λ$ 是一个非负参数，需要通过交叉验证等方法来确定。 $λ$ 的值越大，正则化的效果越强，参数值越小。
求解方法：岭回归可以通过解析方法或数值方法求解。解析方法涉及到对损失函数求导并设置导数为零来求解参数向量 $β$ 。
优点：
- 减少过拟合：通过正则化项限制了参数的大小，减少了模型复杂度。
- 处理共线性：当特征之间存在相关性时，岭回归能够提供一个稳定的解。
- 解的可解释性：即使在特征数量接近或等于样本数量时，岭回归也能提供有限的解。
应用：岭回归广泛应用于金融、生物统计、工程等领域，特别是在变量选择和模型拟合方面。

岭回归是一种简单而有效的正则化技术，通过在模型训练过程中平衡偏差和方差，提高了模型在未知数据上的预测性能。

② 什么是核岭回归（Kernel Ridge Regression，KRR）？

核岭回归是一种结合了岭回归（Ridge Regression）和核技巧（Kernel Trick）的机器学习方法。它用于解决回归问题，特别是数据集具有非线性特征时。

岭回归（Ridge Regression）：是一种处理线性回归问题的正则化技术，通过在损失函数中添加一个L2正则项来防止模型过拟合。岭回归的目的是找到一个在最小化预测误差的同时，保持权重（系数）较小的模型。
**核技巧（Kernel Trick）：是一种在机器学习中常用的技术，它允许算法在高维空间中有效地处理非线性问题，而无需显式地映射输入数据到高维空间。**核函数可以测量数据点之间的相似性，常见的核函数包括线性核、多项式核、径向基函数（RBF）核等。
**核岭回归的结合：KRR结合了上述两种技术，它首先使用核技巧将输入数据隐式地映射到一个高维特征空间，然后在该特征空间中应用岭回归。**这样，KRR能够在高维空间中学习复杂的非线性模型，同时通过岭回归的正则化项控制模型的复杂度，避免过拟合。
工作原理：给定一组训练数据 $x_i,y_i$ ，其中 $x_i$ 是输入特征， $y_i$ 是对应的目标值。KRR的目标是找到一个函数 $f (x)$ ，它在高维特征空间中是线性的，但在原始输入空间中是非线性的。这个函数可以表示为：

$\sum_{i=1}^{n} \alpha_i K(x_i, x) + b$

其中， $K$ 是核函数， $α_i$ 是系数， $b$ 是偏置项。系数 $α_i$ 通过最小化以下正则化损失函数来确定：

$\min_{\alpha, b} \left\{ \sum_{i=1}^{n} (y_i - f(x_i))^2 + \lambda \sum_{i=1}^{n} \alpha_i^2 \right\}$

其中， $\lambda$ 是正则化参数，控制着岭回归的强度。
优点：KRR能够处理非线性关系，同时通过正则化防止过拟合，适用于特征空间维度高且数据集大小相对较小的情况。
应用：KRR广泛应用于各种领域，包括生物信息学、金融风险评估、模式识别等。

在本文中，KRR被用来构建一个高通滤波器，这个滤波器可以从节点属性中提取高频信息，帮助解决图卷积网络中的过度平滑问题。

2、实验

① 验证过平滑问题评估和预测精度的提高

图4：基于自适应滤波器的方法的过平滑问题评估。x轴为神经网络层数，y轴表示分类准确率（%）。图4表明CSF在对过平滑问题的鲁棒性和在下游任务上的有效性方面优于其他方法。

在这里插入图片描述

表1：所有节点分类方法在不同卷积层数（即2、5、10、20）上的平均性能。“*”表示我们忽略了相应模型的内存溢出情况。最好的结果用粗体标记，第二好的结果用下划线标记。

在这里插入图片描述

我们的实验结果，如图4和表1所示，表明我们缓解了过平滑问题，同时提高了深度GCNs的有效性，特别是在处理异配图时。

assortative graphs ：同配图
disassortative graphs ：异配图

② 消融实验

对应paper中的“5.3 Ablation studies”部分，作者进行了一些消融研究来深入分析所提出的Cross-Space Filter（CSF）模型的特性和不同组成部分对整体性能的影响。具体来说，这一部分通过排除或修改模型中的某些组件，来观察这些变化对模型性能的具体影响，从而理解每个组件的重要性。

消融研究主要关注以下几个方面：

属性空间（Node Attribute Space）：研究者们探讨了节点属性信息在模型中的作用，特别是在异配图中，节点属性信息比拓扑信息更为重要。
拓扑空间（Graph Topology Space）：研究者们评估了拓扑信息在模型中的重要性，特别是在同配图中，拓扑信息可能更为重要。
不同空间的过滤器（Filter from Different Spaces）：研究者们比较了在属性空间和拓扑空间中使用的高通和低通过滤器的效果。

在这里插入图片描述

图5提供了两个消融研究的视觉表示：

图5(a)展示了在排除属性过滤器（CSF -w/o attribute）和拓扑过滤器（CSF -w/o topology）的情况下模型性能的变化。结果表明，在同配图中，拓扑信息对性能的贡献更大，而在异配图中，属性信息更为重要。
图5(b)进一步探讨了仅使用低通属性过滤器（CSF -w low-pass attribute）和只使用低通属性过滤器（CSF -w only low-pass attribute）的效果。这表明即使两者都是低通过滤器，结合两个空间的过滤器仍然可以获得性能提升。同时，它也突出了CSF中属性空间中的高频信息的重要性。

通过这些消融研究，作者们得出结论：CSF通过有效地整合了来自拓扑和属性空间的信息，提高了对过平滑问题的鲁棒性，并提升了深层图卷积网络在下游任务中的有效性。

结论1：对于同配图，拓扑信息更为重要；而对于异配图，节点属性信息更有价值。CSF有效地平衡了这两者。
结论2：属性空间中的高频信息比低频信息更有价值。

Conclusion 1: For assortative graphs, topology information is more important, whereas, for disassortative graphs, node attribute information is more valuable. CSF effectively balances the two.
Conclusion 2: High-frequency information in attribute space is more valuable than low-frequency information.

3、算法框架&原理

图1：CSF的概述。我们利用图拓扑和节点属性空间来产生一个跨空间自适应滤波器，以缓解过平滑问题，提高深度GCNs的有效性。

在这里插入图片描述

CSF首先利用节点属性的相关性来提取由Mercer的内核产生的可解释的高通滤波器。

然后，它将传统的基于低通拓扑的滤波器转换到另一个内核中，在RKHS中统一这两个滤波器。

最后，利用一种简单的多核学习技术来融合拓扑空间和属性空间中的信息，得到了跨空间自适应滤波器。

① High-pass Filter From Node Attribute Space

在深度GCNs中，整个图中的节点表示彼此相似，最终收敛于相同的常数值。为此，我们的目标是设计一个基于节点属性的高通滤波器，以提供关于哪些节点应该具有不同表示的先验知识。要从属性空间中提取过滤器，一个简单的想法是创建一个基于属性的图和实现GCN卷积操作。然而，挑战在于如何提取一个高通滤波器，特别是用一种可解释的方式。

在本文中，我们求助于KRR，它提供了一个使用图中的节点属性构造高通滤波器的粗略想法。然而，GCNs的学习范式一般设置是半监督的，其中只提供了部分标记的数据。在本节中，我们通过解决一个半监督KRR的优化问题和推导出一个可解释的高通滤波器来解决这个挑战。