IdmGAE Importance-Inspired Dynamic Masking for Graph Autoencoders

sigir24
#paper/⭐
不要读这篇论文以及笔记了，没有用的东西。。这采样技术都是21-23年的论文的技术了，到24年还在用，也没有理论支撑。。。后悔读了

贡献：利用节点度和节点相似性去构造自适应增强

增强

构造度矩阵：$D\in {\mathbb{R}}^{N\times d_{\max }}$。其中，dmax是度的最大值
基于原始特征，可以构造相似性矩阵：
$$S_0=\mathrm{Mean}(\mathrm{Sim}(\mathcal{X}\cdot {\mathcal{X}}^T)),S_0\in {\mathbb{R}}^{N\times 1}$$
我们构造如下重要性分数矩阵:
$$P=\mathrm{Softmax}(\sigma (MLP(D\oplus S)))$$其中， $\oplus$ 代表拼接操作.$\sigma$代表sigmoid激活函数
我们根据MLP学习重要性分数
$${\mathcal{L}}_{\mathrm{sam}}(\theta )=-\frac{1}{|\overline{\mathcal{V}}|}\sum _{\overline{\mathbf{\omega }}}\log (P_{\theta }^{\mathbf{i}})\cdot {\left(1-\frac{x_{\mathbf{i}}^{\top }{z}_{\mathbf{i}}}{\Vert x_{\mathbf{i}}\Vert \cdot \Vert z_{\mathbf{i}}\Vert }\right)}^{\mathbf{\gamma }}$$
x是原始特征，z是重构特征，$\gamma$是缩放系数

动态采样算法

损失

$$\mathcal{L}={\mathcal{L}}_{\text{sce}}+\xi {\mathcal{L}}_{\text{sam}},$$
sam是采样损失