How Universal Polynomial Bases Enhance Spectral Graph Neural Networks Heterophily,

发表于:ICML24
推荐指数: #paper/⭐⭐⭐
本文提出了一种新的自适应异配基,该异配向量的夹角很自然的反应了异配度.基于该异配基,我们重新设计了异配神经网络,其使用了univiseral polynominal basis,被命名为:UniFilter.
设计思想$\mathbf{z}={\sum }_{k=0}^K{\mathbf{w}}_k(\tau {\mathbf{P}}^k\mathbf{x}+(1-\tau ){\mathbf{u}}_k)$.左面的项类似于多项式基,右面的项是异配基.

流程

多项图过滤器

传统的多项式基可以被归纳为:
$$\mathbf{z}=\sum _{k=0}^K{\mathbf{w}}_k{\mathbf{P}}^k\cdot \mathbf{x},$$
其中,$w_k$代表可学习的参数,P是传播矩阵.
我们有如下的定理:

定理1:给定一个连接图,同配比为h,考虑到光谱过滤器$\mathrm{F}(\mathbf{w})={\sum }_{k=0}^K{\mathbf{w}}_k{\mathbf{P}}^k$,给定一个特征$\mathbf{x}\in {\mathbb{R}}^n$,光谱频率$f({\sum }_{k=0}^K{\mathbf{w}}_k{\mathbf{P}}^k\mathbf{x})$正比于1-h

这就意味着,理想信号和图的异配比有关.但是,现存的大部分方法忽略了这一点.从而导致次优的性能.

具体的流程:

$$\mathbf{z}=\sum _{k=0}^K{\mathbf{w}}_k(\tau {\mathbf{P}}^k\mathbf{x}+(1-\tau ){\mathbf{u}}_k)$$
$$\mathbf{y}=\text{Softmax}(\text{MLP}(\sum _{k=0}^K{\mathbf{w}}_k(\tau {\mathbf{P}}^k\mathbf{x}+(1-\tau ){\mathbf{u}}_k)))$$
通常来说,我们定义传播矩阵:$\mathbf{P}=\mathbf{I}-\mathbf{L}$.那么,K+1阶的同配基可以定义为:
{ x , P x , ⋯   , P K x } \{\mathbf{x},\mathbf{P}\mathbf{x},\cdots,\mathbf{P}^K\mathbf{x}\} {x,Px,⋯,PKx}.但是,其会产生一个问题:

理论2 存在整数$\eta \in N\text{ when }k\ge \eta ,$$\arccos \left(\frac{{\mathbf{P}}^k\mathbf{x}\cdot {\mathbf{P}}^{k+1}\mathbf{x}}{\Vert {\mathbf{P}}^k\mathbf{x}\Vert \Vert {\mathbf{P}}^{k+1}\mathbf{x}\Vert }\right){\to }_{}0$

同质基存在逐渐的相似性和渐进的收敛性,这导致过平滑问题.

理论3 给顶一个图G,一个随机基信号x,和一个全一的向量 $\varphi$,有$f(\varphi )=0$,假设$\theta :=\arccos (\varphi \cdot x)$表示$x$和$\varphi$的夹角.这可以标明G的光谱信号是随着$\theta$的逐渐增加而增加,其中$\theta \in [0,\pi /2_{)}$

定理2标明了随着k的增加,基的夹角逐渐变为0.为了解决这个问题,我们可以让基的夹角为一个固定值$\theta$.
定理1证明理想的光谱信号正比于1-h.我们根据经验设置夹角为$\theta :=\frac{\pi }{2}(1-h)$.
这样,我们进行如下的算法去计算同配基:

现在依次解释上面的部分:
x是初始的特征,P是$I-L$,第三步即线代的正交化.$t_k=\sqrt{{\left(\frac{{\mathbf{s}}_{k-1}^{\top }{\mathbf{u}}_{k-1}}{k\cos \theta }\right)}^2-\frac{(k-1)\cos \theta +1}{k}}.$h是同配比.
我们很容易可得:
$${\mathbf{u}}_i\cdot {\mathbf{u}}_j=\{\begin{array}{ll}\cos (\frac{(1-h)\pi }{2})& ifi\ne j,\\ 1& ifi=j.\end{array}$$
另外一种解释:

理论4 给定矩阵$P_{\theta }\in {\mathbb{R}}^{n\times n}$是一个旋转矩阵,那么存在一个酉矩阵$U\in {\mathbb{C}}^{n\times n}$,有:$\mathbf{R}(\theta ):={\mathbf{U}}^{-1}{\mathbf{P}}_{\theta }\mathbf{U}$

$\mathbf{R}(\theta )=\left(\begin{array}{cccc}\cos \theta & -\sin (\theta )& 0& \cdots \\ \sin (\theta )& \cos \theta & 0& \cdots \\ 0& 0& 1& \cdots \\ & & \cdots & \cdots \\ 0& 0& \cdots & 1\end{array}\right).$
这样,UniFilter可以被改写为:
$$\mathbf{z}=\sum _{k=0}^K{\mathbf{w}}_k\left((\tau {\mathbf{P}}^k+(1-\tau ){\mathbf{P}}_{\theta ,k})\mathbf{x}\right),$$

效果:特别好

总结

思路清晰,实验结果特别好.一环扣一环.