论文笔记：缓解属性特征与拓扑特征的冲突 (WWW 2022与AAAI 2024)

Graph Neural Networks Beyond Compromise Between Attribute and Topology (WWW 2022)

想法

• 动机$(Trick)$

  • 网络嵌入算法（DeepWalk, LINE, node2vec, ARORE[KDD’2018], NetSMF[WWW’2019]）基本上都是在归一化的邻接矩阵上进行SVD分解：
    $$\sum _{t=1}^T{\alpha }_t{\hat{A}}^t=U\Sigma V^T=(U\sqrt{\Sigma })(V\sqrt{\Sigma }{)}^T=\bar{U}{\bar{V}}^T$$
    取$\bar{U}=U\sqrt{\Sigma }$为拓扑特征。

  • GNNs与网络嵌入算法的关系：
    $$H=(\sum _{t=1}^T{\alpha }_t{\hat{A}}^t)X=\bar{U}({\bar{V}}^{T}X)$$
    若$\hat{A}$为对称矩阵，那么$\bar{V}=\bar{U}$。那么GNNs算法表示首先将属性特征$X$与拓扑特征$\bar{V}$求相关性矩阵或者说求注意力，然后根据相关性矩阵和注意力对拓扑特征进行组合或传播。也就是说将拓扑特征转化到属性特征空间中。

• 损失函数
  $$\begin{gathered} mi{n}_{Y,Z}\mathcal{A}(Y,f(X))+\mathcal{T}(Z,g(A))+\mathcal{M}(Y,Z) \\ =mi{n}_{Y,Z}||Y-X|{|}_F^2+{\lambda }_{1}tr(Z^T\tilde{L}Z)+{\lambda }_2||Y^{T}Z|{|}_F^2 \end{gathered}$$
  $\mathcal{A}(Y,f(X))=||Y-X|{|}_F^2$表示学习属性特征，$\mathcal{T}(Z,g(A))=tr(Z^T\tilde{L}Z)$表示学习拓扑特征，$\mathcal{M}(Y,Z)=||Y^{T}Z|{|}_F^2$表示将属性特征和拓扑特征互信息最小化（本文选择相互正交）。

  最后的节点嵌入$H=[Y|Z]$。

Graph Neural Networks with Soft Association between Topology and Attribute (AAAI 2024)

想法

损失函数
$$mi{n}_{Z,U,E_P,E_A}||U-X|{|}_F^2+{\alpha }_{1}tr(Z^T{\tilde{L}}_{A}Z)+{\alpha }_2||U{U}^T-(A\odot E_P+(1-A)\odot E_A)|{|}_F^2$$
第三项通过$U{U}^T$构建属性的相关性矩阵，使得这个矩阵接近原始矩阵，建立属性和拓扑之间的联系。由于原来邻接矩阵可能不可信，通过$E_P$和$E_A$进行删减和添加边。

最后的节点嵌入$H=[U|Z]$。