论文笔记：Structural Entropy Based Graph Structure Learning for Node Classification (AAAI 2024)

关键词：图结构学习；结构熵

想法

• 动机

  • 图信息瓶颈(GIB, Graph Information Bottleneck)：GSL的一个关键挑战是如何约束信息流从基本视图到最终视图，以便为下游任务学习最优图结构。根据GIB，最优结构既要包含足够的分类信息，又要消除噪声，也称为最小充分结构。采用GIB通过最大化节点嵌入与标签之间的互信息，同时最小化节点嵌入与原始图之间的互信息来约束信息流。

    

    $I(Z;Y)$用分类损失来优化。而$ma{x}_{Z}I(Z;G)\iff mi{n}_{G_s}{H}^1(G_s)$。其中$H^1(G_s)$表示一维结构熵。则$mi{n}_{G_s}{H}^1(G_s)$​表示生成一个增强图，它包含足够的节点分类信息，同时尽可能减少其不确定性(即冗余信息或噪声)。

  • 基于GIB的紧致图结构：

    

    训练一个编码器，使节点嵌入$Z$、标签$Y_L$和$G_s$之间的互信息能够最大化，而Eq. 8则保证了$G_s$能够捕获最小且足够的信息用于节点分类。

  • 基于结构熵和最小编码树的紧致图结构：

    

    Eq. 16保证了用于节点分类的$Y_L$信息全部包含在$G_{en}^1,G_{en}^2,G^{\ast }$中。

    Eq. 17连接了基本视图和最终视图的编码树。最大化这些编码树之间的互信息可以使这些树共享它们的社区信息，从而产生最小的充分结构。

• 总体框架图

  

• 损失函数

  • 图结构增强：

    • $Z^1\leftarrow f(X,A^1)$，根据嵌入$Z^1$计算余弦相似度$s_{ij}^1=\frac{z_i^1\cdot z_j^1}{|z_i^1|\times |z_j^1|}$，然后用$k$近邻得到$kNN$图，至于$k$的选择使用一维结构熵$H^1(G_{k-1}^1)\ge H^1(G_k^1)\le H^1(G_{k+1}^1)$，选出不确定性最小的$kNN$图$G_k^1$

      

      类似的对于第二个视图得到增强图$G_{en}^1$。

  • 视图融合：

    • 融合参数${\pi }_i$：（最大的置信度越大$o_{i,m}$，最大置信度和第二大置信度之间的容量越大$o_{i,m}-o_{i,sm}$，说明模型越自信，应该给予更大的注意力）

    

    • 节点的社区影响力${ϵ}_{\alpha }$：

    

    • 基于${\pi }_i$和${ϵ}_{\alpha }$的融合策略：

      

      

  • 训练目标：

    • 计算编码树各节点的嵌入：（根据结构熵计算权重，对孩子节点的嵌入进行加权和）

      

    • 通过$min{\mathcal{L}}_{hc}(Z;\mathcal{T})$最大化互信息：

      

    • 最大化嵌入$Z$和标签$Y_L$的互信息，最大化嵌入$Z$和编码树$\mathcal{T}$的互信息：

      

      

    • 最大化这些编码树之间的互信息：

      

    • 总的训练损失：

      

• 总结

  • 对于本文中的基本视图选择：（根据CoGCL【1】）

  $$\begin{gathered} Adjacencymatrix(A) \\ Diffusionmatrix(S) \\ KNNgraph(K) \\ Subgraph(A_{sub}) \end{gathered}$$

  【1】【2022】【WWW】Compact Graph Structure Learning via Mutual Information Compression

  • 结构熵：

    • 一维结构熵：

      

    • K维结构熵：

      

    • 结构熵的一些意义：

      • 一维结构熵的属性：定位熵，描述$G$中随机游走的平稳分布。

      • 二维结构熵的属性：（小社区，平衡规模，模块化最大化，削减最小化，以及局部定位最小化）

        

      • 关于结构熵，具体可以查看北航李昂生大佬的文章【2016】【TIT】Structural Information and Dynamical Complexity of Networks以及【2015】【Physica A】Discovering natural communities in networks。

  • 基于贪心算法的最小结构熵的编码树构建：

    • 一些定义与操作：

      • 合并操作：

        

      • 压缩操作：

        

      • 更新操作：

        

    • 伪代码：

      将图中的每个节点作为一个社区，然后迭代地执行合并和压缩操作，直到更新操作可以构造一个$k$维编码树。实际上，在合并操作中，我们贪婪地合并最大的$\Delta S{E}_{ij}^{\mathcal{P}}(G)$社区，直到没有社区满足$\Delta S{E}_{ij}^{\mathcal{P}}(G)>0$，从而达到最小的结构熵。