发表于:ICLR24
推荐指数: #paper/⭐⭐⭐
写作动机
作者之前写过一篇文章:ChebNetII,但是,作者那个时候只考虑了低通滤波器,这在异配图中是有限制的,因此作者写了这篇文章.是spot light文章,证明严谨,值得一读(但是需要阅读相关文章)
相关工作
对比学习
图增强基础的对比学习
不需要增强的对比学习:
目标去一出复杂的数据增强或者负样本采样,但是考虑将相同的图输出到不同的编码器来获得不同的视图,从而将不同视图的相同节点/类推到一起.但是,之前的方法大多基于同配图
提出的方法:polygcl
过滤器设计
一个很基础的方法是直接对图过滤器使用可学习的参数.
我们解耦了光谱过滤器的低通和高通模块并且限制它去适应低通和高通函数.和ChebnetII一样(一脉相承,一个课题室的),我们采用了切比雪夫多项式差值作为基础多项式:
∑
k
=
0
K
w
k
T
k
(
L
^
)
X
(1)
\sum_{k=0}^Kw_kT_k(\hat{\mathbf{L}})\mathbf{X}\tag{1}
k=0∑KwkTk(L^)X(1)
其中,
L
^
=
2
L
~
/
λ
m
a
x
−
I
\hat{\mathbf{L}}=2\mathbf{\tilde{L}}/\lambda_{max}-\mathbf{I}
L^=2L~/λmax−I,
w
k
=
2
K
+
1
∑
j
=
0
K
γ
j
T
k
(
x
j
)
,
x
j
=
cos
(
j
+
1
/
2
K
+
1
π
)
,
j
=
0
,
…
,
K
w_k=\frac2{K+1}\sum_{j=0}^K\gamma_jT_k(x_j),x_{j}=\operatorname{cos}\left(\frac{j+1/2}{K+1}\pi\right),j=0,\ldots,K
wk=K+12∑j=0KγjTk(xj),xj=cos(K+1j+1/2π),j=0,…,K表示切比雪夫节点
T
K
+
1
T_{K+1}
TK+1,并且过滤器值
h
(
x
j
)
h(x_j)
h(xj)在切比雪夫点
x
j
x_{j}
xj是重新参数化作为科学系的参数
λ
j
\lambda_{j}
λj.假定过滤器函数是非负的,我们使用了前置和来使得非负的科学系参数
γ
j
\gamma_{j}
γj随着j的增加而增加,以对高通过滤器进行建模.同样,低通过滤器可以用前置差来重新参数化,以在过滤器值
h
(
λ
^
)
h(\hat{\lambda})
h(λ^)在
λ
^
∈
[
−
1
,
1
]
\hat{\lambda}\in[-1,1]
λ^∈[−1,1]中减小.即,我们有:
γ
i
H
=
∑
j
=
0
i
γ
j
,
γ
i
L
=
γ
0
−
∑
j
=
1
i
γ
j
,
i
=
1
,
.
.
.
,
K
,
(2)
\gamma_i^H=\sum_{j=0}^i\gamma_j,\quad\gamma_i^L=\gamma_0-\sum_{j=1}^i\gamma_j,i=1,...,K,\tag{2}
γiH=j=0∑iγj,γiL=γ0−j=1∑iγj,i=1,...,K,(2)
其中,
γ
0
H
=
γ
0
L
=
γ
0
\gamma_0^H=\gamma_0^L=\gamma_0
γ0H=γ0L=γ0.用这种方式,我们有:
γ
i
H
≤
γ
i
+
1
H
,
γ
i
L
≥
γ
i
+
1
L
\gamma_i^H\leq\gamma_{i+1}^H,\gamma_i^L\geq\gamma_{i+1}^L
γiH≤γi+1H,γiL≥γi+1L.从而保证过滤器的低通/高通特性.基于如上分析,低通多项式过滤器/高通多项式过滤器可以被设计如下:
Z
L
=
f
θ
(
∑
k
=
0
K
w
k
L
T
k
(
L
^
)
X
)
,
Z
H
=
f
θ
(
∑
k
=
0
K
w
k
H
T
k
(
L
^
)
X
)
,
(3)
\mathbf{Z}_L=f_\theta\left(\sum_{k=0}^Kw_k^LT_k(\hat{\mathbf{L}})\mathbf{X}\right),\quad\mathbf{Z}_H=f_\theta\left(\sum_{k=0}^Kw_k^HT_k(\hat{\mathbf{L}})\mathbf{X}\right),\tag{3}
ZL=fθ(k=0∑KwkLTk(L^)X),ZH=fθ(k=0∑KwkHTk(L^)X),(3)
其中,
w
k
L
w_{k}^{L}
wkL和
w
k
H
w_{k}^{H}
wkH通过公式1取计算利用公式2的
γ
\gamma
γ.
优化目标设计:(类DGI)
结合高通和低通过滤器,一个很自然的设计是通过线性变换取整合两者
Z
=
α
Z
L
+
β
Z
H
\mathbf{Z}=\alpha\mathbf{Z}_L+\beta\mathbf{Z}_H
Z=αZL+βZH
对于负样本的设计,我们采用了随机shuffleX来得到负低通,高通特征
Z
~
L
a
n
d
Z
~
H
\tilde{\mathbf{Z}}_{L}\mathrm{~and~}\tilde{\mathbf{Z}}_{H}
Z~L and Z~H.全局嵌入可以用平均池化生成:
g
=
M
e
a
n
(
Z
)
=
1
N
∑
i
=
1
N
Z
i
\mathbf{g}=\mathbf{Mean}(\mathbf{Z})=\frac1N\sum_{i=1}^N\mathbf{Z}_i
g=Mean(Z)=N1∑i=1NZi.
Z
i
Z_{i}
Zi表示节点特征
v
j
v_{j}
vj的特征向量.为了计算节点和图表征的分数,我们用判别器:
D
(
Z
i
,
g
)
=
σ
(
Z
i
W
g
T
)
∈
(
0
,
1
)
\mathcal{D}\left(\mathbf{Z}_i,\mathbf{g}\right)=\sigma(\mathbf{Z}_i\mathbf{W}\mathbf{g}^T)\in(0,1)
D(Zi,g)=σ(ZiWgT)∈(0,1),其中
m
a
t
h
b
f
W
∈
R
D
×
D
\\mathbf{W}\in\mathbb{R}^{D\times D}
mathbfW∈RD×D(即一层的线性变化,相当于映射头).基于如上,我们得到了全局BCEloss:
KaTeX parse error: \tag works only in display equations
整个的流程图:
模型图:
实验结果
非常豪华
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
