ImprovingExpressive Power of Spectral Graph NeuralNetworks with Eigenvalue Correction

AAAI24
推荐指数： #paper/⭐⭐⭐
领域：研究光谱GNN的频谱
一句话说：

摘要引言等

摘要

光谱GNN取得了很好的成绩，这些模型假设保准化拉普拉斯矩阵的特征值彼此不同，使得过滤器有更高的匹配能力。然而，本文经验观察到标准化拉普拉斯矩阵经常具有重复的特征值。我们首先从理论上指明了可区分特征值的数量在谱神经网络的重要作用。根据这一观察，我们提出了一种特征值修正策略，该策略可以使方程过滤器避免受重复特征值输入的约束。具体来说，所提出的特征值修正策略，增加了特征值分布的均匀性，从而减少特征值的重复

引言：

特征值存在重叠

如图可知，大量的特征值聚集在1附近，这让特征值不可分。因此，我们需要提出一种策略，让特征值分开

特征值重叠图：

$N_{distinct}$ 代表重叠的点数,$P_{distinct}$ 代表重叠点占总点数的概率

贡献总结：

1. 标准化拉普拉斯矩阵出现了较高的特征值重叠。我们提供了理论证据，证明特征值重叠（特征值重复）严重的影响了过滤器的效果
2. 我们引入了一种特征值修正策略，来将特征值与原始特征值合并

具体方法

光谱过滤器：

$$\mathbf{Z}=h(\hat{\mathbf{L}})\mathbf{XW}=\mathbf{U}h(\mathbf{\Lambda }){\mathbf{U}}^{\top }\mathbf{XW},$$
Jocobiconv的证理：如果L没有重复的特征值并且X包含所有频率分量，则光谱GNN可以产生任何一维预测。而重复的特征值越多，光谱GNN的表达性就越低

提出的策略：

为了去生成不同的特征值，一种自然的方法是我们从[0,2]按照均匀分布采样：
υ i = 2 i n − 1 , i ∈ { 0 , 1 , 2 , . . . , n − 1 } , \upsilon_i=\frac{2i}{n-1},\quad i\in\{0,1,2,...,n-1\}, υi​=n−12i​,i∈{0,1,2,...,n−1},
新的特征值可以表示为$v$,我们称之等距特征值
我们称标准化的拉普拉斯矩阵原始的特征值$\lambda$为。
我们令：$\lambda$ 的特征值序列为递增的。即：${\lambda }_1<{\lambda }_2<\cdots <{\lambda }_k$
这样，新的特征值矩阵就是：
μ i = β λ i + ( 1 − β ) υ i , i ∈ { 0 , 1 , 2 , . . . , n − 1 } \mu_{i}=\beta\lambda_{i}+(1-\beta)\upsilon_{i},\quad i\in\{0,1,2,...,n-1\} μi​=βλi​+(1−β)υi​,i∈{0,1,2,...,n−1}
其中，$\beta$是手动调节的超参

结合光谱过滤器表示：

我们令：
$$\mathbf{E}=\mathbf{U}\mathrm{diag}(\mathbf{\upsilon }){\mathbf{U}}^{\top },\mathbf{H}=\mathbf{U}\mathrm{diag}(\mathbf{\mu }){\mathbf{U}}^{\top },\hat{\mathbf{L}}=\mathbf{U}\mathrm{diag}(\mathbf{\lambda }){\mathbf{U}}^{\top }$$
我们就有：
$$\mathbf{H}=\beta \hat{\mathbf{L}}+(1-\beta )\mathbf{E}.$$
过滤器可以被重写为：
$$h(\mathbf{H})=\sum _{k=0}^K{\alpha }_k{\mathbf{H}}^k=\sum _{k=0}^K{\alpha }_k(\beta \hat{\mathbf{L}}+(1-\beta )\mathbf{E}{)}^k,$$
特征值形式：其可以用于加速计算。
$$h(\mathbf{H})=h(\mathbf{U}\mathrm{diag}(\mathbf{\mu }){\mathbf{U}}^{\top })=\mathbf{U}\sum _{k=0}^K\mathrm{diag}({\alpha }_k{\mathbf{\mu }}^k){\mathbf{U}}^{\top }.$$
完整的过滤器过程：
$$\mathbf{Z}=h(\mathbf{H})\mathbf{XW}=\mathbf{U}\sum _{k=0}^K\mathrm{diag}({\alpha }_k{\mathbf{\mu }}^k){\mathbf{U}}^{\top }\mathbf{XW}$$

举例子：

对于GPRGNN来说，由于：$\hat{\mathbf{A}}=\hat{\mathbf{I}}-\hat{\mathbf{L}}$
$$\sum _{k=0}^K{\gamma }_k{\hat{\mathbf{A}}}^k=\mathbf{U}\sum _{k=0}^K\mathrm{diag}({\gamma }_k(1-\mathbf{\mu }{)}^k){\mathbf{U}}^T.$$

实验结果

损失函数：

深色为提出的方法
结果

写作分析

摘要：最近，光谱GNN在分类任务取得了特别好的成绩->这些模型假设保准化拉普拉斯矩阵的特征值彼此不同，使得过滤器有更高的匹配能力->然而，这些文章使用的正则化拉普拉斯矩阵处理重复的特征值->我们从理论上分析了不同的特征值有一个很重要的作用->我们提出了一种特征值修正策略，其可以xx。具体来说
即写作范式：
过去的方法->过去方法采用的具体的策略->这种策略的缺陷->理论或者实践分析这种缺陷->提出发的方法->具体的介绍