图机器学习基础知识——CS224W（05-message）

CS224W: Machine Learning with Graphs

Stanford / Winter 2021

05-message

• 给定图中一些已有标签的节点，如何利用半监督学习将其余节点也打上标签

• Intuition: Correlations exist in networks

  • In other words: Similar nodes are connected

  • Key concept is collective classification: Idea of assigning labels to all nodes in a network together

Relational Classifier

• Key Idea: $Y_v$表示节点$v$的类别概率（二分类），对于没有标签的节点赋初值$Y_v=0.5$，根据邻居节点（无序）更新所有节点直到收敛

• 节点的更新公式

  $$P\left(Y_v=c\right)=\frac{1}{{\sum }_{(v,u)\in E}{A}_{v,u}}\sum _{(v,u)\in E}{A}_{v,u}P\left(Y_u=c\right)$$

  • 不能保证收敛性

  • 无法使用节点本身的属性特征

• Example

  • Initialization

    

  • 1-st Iteration, Update Node 3

    

  • 1-st Iteration, Update Node 4

    

  • …After 1-st Iteration

    

  • …After 2-nd Iteration

    

  • …After 4 Iterations, Convergence

    

Iterative Classifier

• Key Idea: Relational Classifier无法利用节点特征，Iterative Classifier利用节点以及邻居特征进行分类

• Iterative Classification分为两阶段

  • Phase-1 (Train): Classify based on node attributes alone

    • 在训练集上训练分类器（MLP、DNN等）

    • ${\varphi }_1\left(f_v\right)$: to predict $Y_v$ based on $f_v$ (仅根据节点本身的特征分类)

    • ${\varphi }_2\left(f_v,z_v\right)$: to predict $Y_v$ based on $f_v$ and summary $z_v$ of labels of $v$’s neighbors (根据节点本身的特征以及邻居节点标签的汇总信息进行分类)

  • Phase-2 (Test): Iterate till convergence

    • 在测试集上，用${\varphi }_1$设置每个节点的初始标签，计算$z_v$并用${\varphi }_2$预测节点标签

    • Repeat for each node $v$

      • Update $z_v$ based on $Y_u$ for all $u\in N_v$ (根据每个节点的邻居标签更新该节点的$z_v$)

      • Update $Y_v$ based on the new $z_v$ using ${\varphi }_2$ (根据新的$z_v$使用${\varphi }_2$更新节点标签)

    • 迭代直到标签稳定或达到最大循环上限（无法保证收敛性）

• Example

  • 假设两个分类器已经训练完成，接下来为Phase-2测试阶段

  • 使用${\varphi }_1$初始化标签

    

  • Repeat

    • 更新$z_v$

      

    • 使用${\varphi }_2$重新赋上标签

      

  • 迭代直至收敛

Loopy Belief Propagation

• Key Idea: 有点类似于Message Passing

• Notation

  

• Algorithm

  

  

• Problem

  

• Advantages