发表于:AAAI22
推荐指数: #paper/⭐⭐⭐
概括其思想:
其思路基于每个子块应该有自己的建模方式,以块为基础重构了相似性矩阵
Block matrix
给定标签矩阵
Y
∈
R
n
×
c
Y\in\mathbb{R}^{n\times c}
Y∈Rn×c.块矩阵定义为:
H
=
(
Y
T
A
Y
)
⊘
(
Y
T
A
E
)
H=\left(Y^TAY\right)\oslash\left(Y^TAE\right)
H=(YTAY)⊘(YTAE)
其中,E是和Y相似的all one矩阵.块矩阵链接任何两个块的相似性.
模型框架
学习块矩阵
有点看不懂,需要看代码
B
ˉ
=
σ
(
M
L
P
(
X
)
)
\bar{B}=\sigma\left(\mathrm{MLP}\left(X\right)\right)
Bˉ=σ(MLP(X))
B
=
s
o
f
t
m
a
x
(
B
ˉ
)
B=\mathrm{softmax}\left(\bar{B}\right)
B=softmax(Bˉ)
L
M
L
P
=
∑
v
i
∈
T
ν
f
(
B
i
,
Y
i
)
\mathcal{L}_{MLP}=\sum_{v_i\in\mathcal{T}_\nu}f\left(B_i,Y_i\right)
LMLP=vi∈Tν∑f(Bi,Yi)
其中,
T
V
\mathcal{T}_{\mathcal{V}}
TV.这三个公式的意思是:用特征矩阵X去模拟标签矩阵Y.
Y
s
=
{
Y
i
,
B
j
∣
∀
v
i
∈
T
V
,
∀
v
j
∉
T
V
}
Y_s=\{Y_i,B_j|\forall v_i\in\mathcal{T}_\mathcal{V},\forall v_j\notin\mathcal{T}_\mathcal{V}\}
Ys={Yi,Bj∣∀vi∈TV,∀vj∈/TV}
H
=
(
Y
s
T
A
Y
s
)
⊘
(
Y
s
T
A
E
)
H=\begin{pmatrix}Y_s^TAY_s\end{pmatrix}\oslash\begin{pmatrix}Y_s^TAE\end{pmatrix}
H=(YsTAYs)⊘(YsTAE)
构建相似块矩阵:
得到新的块H后,我们进行如下操作:
Q
=
H
H
T
Q=HH^T
Q=HHT
D
i
a
g
(
Q
)
←
α
⋅
D
i
a
g
(
Q
)
\mathrm{Diag}\left(Q\right)\leftarrow\alpha\cdot\mathrm{Diag}\left(Q\right)
Diag(Q)←α⋅Diag(Q)
基于块的图卷积
B
i
=
{
b
i
1
,
b
i
2
,
.
.
.
,
b
i
c
}
a
n
d
B
j
=
{
b
j
1
,
b
j
2
,
.
.
.
,
b
j
c
}
B_i = \{b_i^1, b_i^2, ..., b_i^c\} \mathrm{and} B_j = \{b_j^1, b_j^2, ..., b_j^c\}
Bi={bi1,bi2,...,bic}andBj={bj1,bj2,...,bjc}.因此,这里有
c
2
c^2
c2个类链接对于任何节点
⟨
v
i
,
v
j
⟩
\langle v_{i},v_{j}\rangle
⟨vi,vj⟩
相似性函数可以定义为:
p
(
φ
(
v
i
)
=
Y
r
,
φ
(
v
j
)
=
Y
t
)
=
b
i
r
b
j
t
p\left(\varphi(v_i)=Y_r,\right.\varphi(v_j)=Y_t)=b_i^rb_j^t
p(φ(vi)=Yr,φ(vj)=Yt)=birbjt
φ
\varphi
φ是映射函数,映射节点到它的类别.
r
,
t
∈
{
1
,
2
,
.
.
.
,
c
}
r,t\in\{1,2,...,c\}
r,t∈{1,2,...,c}.
我们可以定义
v
i
和
v
j
v_{i}和v_{j}
vi和vj的权重矩阵为:
ω
i
j
=
∑
r
=
1
c
∑
t
=
1
c
q
r
,
t
b
i
r
b
j
t
\omega_{ij}=\sum_{r=1}^c\sum_{t=1}^cq_{r,t}b_i^rb_j^t
ωij=∑r=1c∑t=1cqr,tbirbjt
矩阵形式为:
Ω
=
B
Q
B
T
\Omega=BQB^T
Ω=BQBT
我们利用权重矩阵重定义邻接矩阵
A
′
=
Ω
⊙
(
A
+
β
I
)
A^{\prime}=\Omega\odot(A+\beta I)
A′=Ω⊙(A+βI)
但是,
A
′
A'
A′的每个元素可能不在(0,1)内.因此,我们利用相似性矩阵来重新归一化:
a
~
i
,
j
=
exp
(
a
′
i
,
j
)
∑
v
s
∈
N
exp
(
a
′
i
,
s
)
\tilde{a}_{i,j}=\frac{\exp{(a^{\prime}{}_{i,j})}}{\sum_{v_s\in\mathcal{N}}\exp{(a^{\prime}{}_{i,s})}}
a~i,j=∑vs∈Nexp(a′i,s)exp(a′i,j)
最终,卷积函数被设计为:
Z
(
k
)
=
Z
(
k
−
1
)
W
1
(
k
)
+
A
~
Z
(
k
−
1
)
W
2
(
k
)
Z^{(k)}=Z^{(k-1)}W_1^{(k)}+\tilde{A}Z^{(k-1)}W_2^{(k)}
Z(k)=Z(k−1)W1(k)+A~Z(k−1)W2(k)
模型优化:
L
G
C
N
=
∑
v
i
∈
T
V
f
(
Z
i
,
Y
i
)
\mathcal{L}_{GCN}=\sum_{v_i\in\mathcal{T}_\mathcal{V}}f\left(Z_i,Y_i\right)
LGCN=∑vi∈TVf(Zi,Yi)
L
f
i
n
a
l
=
λ
L
G
C
N
+
(
1
−
λ
)
L
M
L
P
\mathcal{L}_{final}=\lambda\mathcal{L}_{GCN}+(1-\lambda)\mathcal{L}_{MLP}
Lfinal=λLGCN+(1−λ)LMLP