发表于: AAAI24
推荐指数: #paper/⭐⭐⭐ #paper/🚩
问题背景/贡献
以前的图过滤趋向于提取同配节点
贡献:
提出了一种双重过滤器,可以更好的提取异配图的同配信息.
扩展了图热方程
通俗说:
提取了一种新的图过滤通过在奇数阶节点过滤低频信息,在偶数阶节点过滤高频信息的过滤器
利用泊松分布,去提取不同阶的特征,并利用可学习的嵌入联合起来
(为什么用泊松–1.图热方程可以转化为泊松分布的形式2.现实世界很多分布服从于泊松分布)
背景知识:
首先，拉普拉斯矩阵
L
=
I
−
A
.
L=I-A.
L=I−A.
其次,经典的图优化问题:
min
Z
f
(
Z
)
=
T
r
(
Z
⊤
h
(
L
)
Z
)
+
α
∥
Z
−
X
∥
F
2
\min_Zf(Z)=Tr(Z^\top h(L)Z)+\alpha\|Z-X\|_F^2
Zminf(Z)=Tr(Z⊤h(L)Z)+α∥Z−X∥F2
其中.
α
\alpha
α是一个平衡常数.这个问题可以被如下问题改编(偏导等于0):
Z
=
g
(
L
)
X
=
(
α
I
+
h
(
L
)
)
−
1
X
.
Z=g(L)X=(\alpha I+h(L))^{-1}X.
Z=g(L)X=(αI+h(L))−1X.
通过上面这个公式,我们可以得到:
h
(
L
)
=
g
(
L
)
−
1
−
α
I
.
h(L)=g(L)^{-1}-\alpha I.
h(L)=g(L)−1−αI.
具体方法:
理论部分:
通过光谱视角,低通过滤器使得节点特征更加平滑.高通滤波器使得节点特征更加尖锐,更加可区分.我们认为前者是同配传播,后者是异配传播.
因此,我们可以定义如下传播
同配传播
Y ∗ = arg min Y T r ( Y ⊤ h 1 ( L ) Y ) + α 1 ∥ Y − X ∥ F 2 Y^*=\underset{Y}{\operatorname*{\arg\min}}Tr(Y^\top h_1(L)Y)+\alpha_1\|Y-X\|_F^2 Y∗=YargminTr(Y⊤h1(L)Y)+α1∥Y−X∥F2
异配传播
Z
∗
=
arg
min
Z
T
r
(
Z
⊤
h
2
(
L
)
Z
)
+
α
2
∥
Z
−
Y
∗
∥
F
2
Z^*=\underset{Z}{\operatorname*{\arg\min}}Tr(Z^\top h_2(L)Z)+\alpha_2\|Z-Y^*\|_F^2
Z∗=ZargminTr(Z⊤h2(L)Z)+α2∥Z−Y∗∥F2
这样我们可以得到优化问题:
Z
∗
=
[
(
α
1
I
+
h
1
(
L
)
)
(
α
2
I
+
h
2
(
L
)
)
]
−
1
X
Z^*=[(\alpha_1I+h_1(L))(\alpha_2I+h_2(L))]^{-1}X
Z∗=[(α1I+h1(L))(α2I+h2(L))]−1X
异配图热核
为了解决异配图高阶信息的挑战,我们从图扩散的角度考虑.对于异配图来说,互补图可以提取缺失的一半结构,这可以在某种程度减轻类间聚合损失并丰富信息结构
我们定义互补图,其邻接矩阵为:
A
ˉ
=
p
I
−
A
˙
\bar{A}=pI-\dot{A}
Aˉ=pI−A˙.在这里,p是超参去衡量自环的权重.表示:
L
~
=
(
p
−
2
)
I
+
L
\tilde{L}=(p-2)I+L
L~=(p−2)I+L,
H
h
e
t
e
=
e
t
L
~
X
.
H_{hete}=e^{t\tilde{L}}X.
Hhete=etL~X.
通过泰勒公式展开,我们可以得到如下异配图公式:
H
h
e
t
e
=
∑
r
=
0
∞
(
t
(
p
−
1
)
I
−
A
)
2
r
+
1
(
2
r
+
1
)
!
+
(
A
−
t
(
p
−
1
)
I
)
2
r
(
2
r
)
!
H_{hete}=\sum_{r=0}^\infty\frac{(t(p-1)I-A)^{2r+1}}{(2r+1)!}+\frac{(A-t(p-1)I)^{2r}}{(2r)!}
Hhete=r=0∑∞(2r+1)!(t(p−1)I−A)2r+1+(2r)!(A−t(p−1)I)2r
我们可以通过让奇数阶高斯核邻居推开,让偶数接邻居信息聚合.这和异配图的结构信息是异质的.
PC-Conv
对于异配图聚合,
g
1
(
L
~
)
=
e
t
L
~
g_1(\tilde{L})=e^{t\tilde{L}}
g1(L~)=etL~,相应的能量函数是:
h
1
(
L
~
)
=
e
−
t
L
−
α
1
I
h_{1}(\tilde{L})=e^{-tL}-\alpha_{1}I
h1(L~)=e−tL−α1I.(代入上面h(L)的公式).对于同配传播,我们使用低通过滤去捕获本地低阶信息,以及集合
h
2
=
(
L
~
)
=
h_{2}=(\widetilde{L})=
h2=(L
)=
L
~
=
(
p
−
2
)
I
+
L
\tilde{L}=(p-2)I+L
L~=(p−2)I+L.
这两个式子的特征值都应该是非负的
{
h
1
(
λ
)
=
exp
(
−
t
(
p
−
2
+
λ
)
)
−
α
1
≥
0
,
∀
λ
∈
[
0
,
2
)
h
2
(
λ
)
=
p
−
2
+
λ
≥
0
,
∀
λ
∈
[
0
,
2
)
\left\{\begin{array}{l}h_1(\lambda)=\exp(-t(p-2+\lambda))-\alpha_1\geq0,\forall\lambda\in[0,2)\\h_2(\lambda)=p-2+\lambda\geq0,\forall\lambda\in[0,2)\end{array}\right.
{h1(λ)=exp(−t(p−2+λ))−α1≥0,∀λ∈[0,2)h2(λ)=p−2+λ≥0,∀λ∈[0,2)
通过解这两个方程,我们可以得到如下的公式:
p
∈
[
2
,
−
1
t
ln
α
1
)
p\in[2,-\frac1t\ln\alpha_1)
p∈[2,−t1lnα1)
通过同配聚合,h2对应低通过滤:
g
2
(
L
~
)
=
(
I
+
α
2
L
~
)
−
1
g_{2}(\tilde{L})=(I+\alpha_{2}\tilde{L})^{-1}
g2(L~)=(I+α2L~)−1
通常,k阶图过滤可以被写为:
g
2
(
L
)
=
(
I
−
α
2
L
)
k
g_2(L)=(I-\alpha_2L)^k
g2(L)=(I−α2L)k
为了简化,我们将
α
2
=
1
\alpha_{2}=1
α2=1,我们让
Z
∗
=
g
k
,
t
(
L
~
)
X
=
(
I
−
L
~
)
k
e
t
L
X
=
U
⋅
(
I
−
λ
~
)
k
e
t
λ
⋅
U
⊤
X
.
Z^{*}=g_{k,t}(\tilde{L})X=(I-\tilde{L})^{k}e^{tL}X=U\cdot(I-\tilde{\lambda})^{k}e^{t\lambda}\cdot U^{\top}X.
Z∗=gk,t(L~)X=(I−L~)ketLX=U⋅(I−λ~)ketλ⋅U⊤X.
前人用如下公式去提取不同阶的信息,
g
(
L
)
=
∑
a
,
b
K
C
a
b
(
2
−
L
)
a
L
b
g(L)=\sum_{a,b}^KC_{\boldsymbol{ab}}(2-L)^aL^b
g(L)=a,b∑KCab(2−L)aLb
我们可以
泊松逼近
g
k
,
t
(
λ
~
)
=
∑
n
=
0
N
(
−
λ
~
)
n
n
!
C
n
(
k
,
t
)
,
k
∈
Z
+
,
g
k
,
t
(
λ
~
)
→
(
I
−
λ
~
)
k
e
t
λ
~
,
N
→
∞
.
\begin{aligned}&g_{k,t}(\tilde{\lambda})=\sum_{n=0}^N\frac{(-\tilde{\lambda})^n}{n!}C_n(k,t),k\in Z_+,\\&g_{k,t}(\tilde{\lambda})\to(I-\tilde{\lambda})^ke^{t\tilde{\lambda}},N\to\infty.\end{aligned}
gk,t(λ~)=n=0∑Nn!(−λ~)nCn(k,t),k∈Z+,gk,t(λ~)→(I−λ~)ketλ~,N→∞.
对所有节点使用单个k意味着本地信息聚合的程度是固定的,这将导致欠平滑问题.为了充分利用多阶节点的特征,我们引入了一个科学习的参数
θ
k
\theta_{k}
θk来聚合k阶邻居的信息.其中每个项都可以作为单层过滤器.
Z
∗
=
g
t
(
L
~
)
X
=
U
(
θ
0
+
∑
k
=
1
K
θ
k
⋅
g
k
,
t
(
λ
~
)
)
U
⊤
X
=
θ
0
⋅
X
+
∑
k
=
1
K
θ
k
⋅
∑
n
=
0
N
C
n
(
k
,
t
)
(
−
L
~
)
n
n
!
X
\begin{gathered} Z^{*} =g_t(\tilde{L})X=U(\theta_0+\sum_{k=1}^K\theta_k\cdot g_{k,t}(\tilde{\lambda}))U^\top X \\ =\theta_0\cdot X+\sum_{k=1}^K\theta_k\cdot\sum_{n=0}^NC_n\left(k,t\right)\frac{(-\tilde{L})^n}{n!}X \end{gathered}
Z∗=gt(L~)X=U(θ0+k=1∑Kθk⋅gk,t(λ~))U⊤X=θ0⋅X+k=1∑Kθk⋅n=0∑NCn(k,t)n!(−L~)nX
总结
这篇文章提出了一种对不同阶的GNN(奇数阶,偶数阶)不同的过滤操作以及通过泊松分布去生成不同阶的过滤,挺有意思的,也挺有意义的
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
