推荐指数: #paper/⭐
文章发表于:PMLR 23
代码:无(???可复现性/结果存疑,论文的实验步骤也简单)
背景/动机/贡献
提出了一种基于同配性的邻居采样的对比学习方法
(前人解决同配性异配性的常用方法:加权邻居和高阶邻居传播)
现有的方法侧重于设计对比模型,采用了僵化/低效的一对一增强策略.我们采用了节点邻居去生成正样本和避免使用数据增强去生成其他视图.我们也考虑了图神经网络的同配问题,我们方案的关键在于分析GNN的问题并将GCL抽样策略和整合同质性区分混合起来.
我们引入了一种新的参数化邻居采样组件来取代传统的次优采样
通过保存和更新邻居子集,GCL的正样本和GNN的消息传播函数被优化
此外,我们理论上证明了新的方法提供了更好的互信息下限
具体流程
很简单,重新定义了一个同配比,将同配比内的邻居当做正样本,其他的当做正样本,来进行对比学习
同配比:
P
(
y
N
(
i
)
=
y
i
∣
v
i
;
θ
)
=
C
O
N
C
A
T
(
h
i
,
h
N
(
i
)
)
W
θ
P(y_{\mathcal{N}(i)}=y_i|v_i;\theta)=\mathrm{CONCAT}(h_i,h_{\mathcal{N}(i)})W_\theta
P(yN(i)=yi∣vi;θ)=CONCAT(hi,hN(i))Wθ
NeCo更新同配邻居集合每回合
此外,采用了Gumbel-Max技巧对节点对进行系统采样
l
o
g
(
P
y
N
(
i
)
=
y
i
∣
v
i
;
θ
+
G
i
.
,
w
h
e
r
e
G
i
=
−
l
o
g
(
−
l
o
g
(
U
i
)
)
,
U
i
∼
U
n
i
f
o
r
m
(
0
,
1
)
.
\text{ }log(Py_{\mathcal{N}(i)}=y_{i}|v_{i};\theta+\mathcal{G}_{i}.,\\\mathrm{where}\mathcal{G}_{i}=-\mathrm{log}(-\mathrm{log}(U_{i})),U_{i}\sim Uniform(0,1).\text{ }
log(PyN(i)=yi∣vi;θ+Gi.,whereGi=−log(−log(Ui)),Ui∼Uniform(0,1).
整体流程
GNN生成嵌入,并将嵌入映射到对比空间,使用参数同质性区分模块计算采样概率,利用学习到的参数,提出基于同质性区分的邻域成对损失.并添加了一个正则化项来保证参数邻居采样的边界.
评价
实验简单,没给代码,可靠性存疑
扫一扫
981
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
