论文简称:SPGCL
论文发表于:未发表(arxiv)
推荐指数: #paper/⭐⭐⭐
推荐理由:虽然没有发表在顶会,但是多篇顶会都引用他的方法和结果,并且作者本人发过多篇顶会.只能说可惜吧(可能是因为太简单了)
动机
提出一种无需增强的正样本采样方法(基于hop)
流程
1.利用编码器得到节点嵌入
2.计算隐藏层特征
3.采样b个节点,并用T-hop邻居构建每个节点节点池P
4.选择top-K近相似节点作为正样本节点
5.计算对比损失并用随机梯度下降更新参数
首先,通过编码器得到
H
=
f
θ
(
X
,
A
~
)
\mathbf{H}=f_{\boldsymbol{\theta}}(\mathbf{X},\tilde{\mathbf{A}})
H=fθ(X,A~).然后,通过一个带有L2标准化的映射头,我们可以得到:
Z
=
g
ω
(
H
)
\mathbf{Z}=g_{\omega}(\mathbf{H})
Z=gω(H).为了使模型可以在大图上应用,我们构建节点池P用节点的T-hop邻居构建.对于每个节点
v
i
∈
S
v_{\boldsymbol{i}}\in S
vi∈S,top-K pos节点有着高置信度被选择为正样本集合,表示为:
S
p
o
s
i
=
arg
max
v
j
∈
P
(
Z
i
⊤
Z
j
,
K
p
o
s
)
S_{pos}^i=\arg\max_{v_j\in P}(\mathbf{Z}_i^\top\mathbf{Z}_j,K_{pos})
Sposi=argmaxvj∈P(Zi⊤Zj,Kpos)和负样本集:
S
n
e
g
i
=
{
v
i
1
,
v
i
2
,
…
,
v
i
K
n
e
g
}
∼
V
,
S
n
e
g
i
⊆
V
S_{\boldsymbol{neg}}^i=\{v_i^1,v_i^2,\ldots,v_i^{K_{\boldsymbol{neg}}}\}\sim\mathcal{V},S_{\boldsymbol{neg}}^i\subseteq\mathcal{V}
Snegi={vi1,vi2,…,viKneg}∼V,Snegi⊆V.作为结果,对比框架被优化为:
L
^
s
P
−
C
C
L
=
−
2
N
⋅
K
p
o
s
∑
v
i
∈
V
∑
v
i
+
∈
S
p
o
s
i
[
Z
i
⊤
Z
i
+
]
+
1
N
⋅
K
n
e
g
∑
v
j
∈
V
∑
v
k
∈
S
n
e
g
i
[
(
Z
j
⊤
Z
k
)
2
]
.
\widehat{\mathcal{L}}_{\mathrm{sP-CCL}}=-\frac2{N\cdot K_{pos}}\sum_{v_i\in\mathcal{V}}\sum_{v_i+\in S_{pos}^i}\left[\mathbf{Z}_i^\top\mathbf{Z}_{i+}\right]+\frac1{N\cdot K_{neg}}\sum_{v_j\in\mathcal{V}}\sum_{v_k\in S_{neg}^i}\left[\left(\mathbf{Z}_j^\top\mathbf{Z}_k\right)^2\right].
L
sP−CCL=−N⋅Kpos2vi∈V∑vi+∈Sposi∑[Zi⊤Zi+]+N⋅Kneg1vj∈V∑vk∈Snegi∑[(Zj⊤Zk)2].
扫一扫
1340
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
