Towards Self-supervised Learning on Graphs with Heterophily

推荐指数: #paper/⭐
发表于: CIKM22

一句话总结:本文通过重构相似性矩阵来生成两种特征增强方法.通过对比学习来进行训练.值得一题的一点是他在对比学习中,用了X得到的特征和AX的对比.还是有一丢丢创新性的

主要工作:

图增强

特征相似矩阵

$${\tilde{S}}_{ij}^F=\cos \left(x_i,x_j\right)=\frac{x_i\cdot x_j}{|x_i|\left|x_j\right|},$$
其中,x是原始特征

参数化相似性矩阵

$${\tilde{S}}^L=\cos (E_S,E_S^{\top })$$
$${\mathbf{E}}_S=\sigma \left({\mathbf{E}}_S^{(l-1)}\odot {\mathbf{W}}_S^{(l)}\right),$$
其中,$E_s^{(0)}=X$(即原始特征矩阵),$\odot$是hadamard积.$\sigma$表示非线性操作

重构相似性矩阵

$${\tilde{A}}_{ij}=\{\begin{array}{ll}{\tilde{\mathrm{S}}}_{ij}^{\ast },& {\tilde{\mathrm{S}}}_{ij}^{\ast }\in k\left({\tilde{\mathrm{S}}}_i^{\ast }\right)\\ 0,& {\tilde{\mathrm{S}}}_{ij}^{\ast }\notin k\left({\tilde{\mathrm{S}}}_i^{\ast }\right)\end{array}$$
$k(\cdot )$代表与节点i相连的top-k近的节点集.

数据增强

$$\tilde{A}=A\odot M_{\mathbf{E}}$$
其中,$M_E$通过$p_E$二项式分布得到
$$\tilde{X}=X\odot M_{\mathbf{F}},$$

对比框架

编码器

$$\tilde{H}=\sigma (\tilde{X}{W}_1)W_2$$
(可以理解为两层mlp)
$${\mathcal{L}}_O=\underset{{\mathcal{L}}_{inv}}{\underbrace{{\Vert {\tilde{H}}_1-{\tilde{H}}_2\Vert }_F^2}}+\underset{{\mathcal{L}}_{dec}}{\underbrace{\lambda \left({\Vert {\tilde{H}}_1^{\top }{\tilde{H}}_1-I\Vert }_F^2+{\Vert {\tilde{H}}_2^{\top }{\tilde{H}}_2-I\Vert }_F^2\right)}},$$
$${\mathcal{L}}_N=-\sum _{r=1}^R{\mathbb{E}}_{v_i\in \mathcal{V}}\left|\log \frac{\exp \left(⟨{\tilde{s}}_i^r,{\tilde{h}}_i⟩/\tau \right)}{{\sum }_{v_k\in \mathcal{V}}\exp \left(⟨{\tilde{h}}_k,{\tilde{h}}_i⟩/\tau \right)}\right|,$$
其中,${\tilde{s}}_i^r={\gamma }_r\left({\tilde{A}}^r{\tilde{h}}_i\right)$.这样,这个式子就相当于X和AX的对比了.${\tilde{s}}^r$代表节点v的自适应r跳邻居表征${\gamma }_r$表示r层的自适应参数.