一种基于GCN的半监督学习模型

一种基于GCN的半监督学习模型

这是GCN的经典论文 SEMI -SUPERVISED CLASSIFICATION WITH
GRAPH CONVOLUTIONAL NETWORKS 的阅读笔记.

1. 概述

• 对于传统的图上的半监督学习, 我们可以在损失函数中加入正则化项${\sum }_{i,j}(\mathbf{A}{)}_{ij}(f(x_i)-f(x_j){)}^2$, 借助相邻的顶点倾向于拥有相同的标签这一假设来完成半监督学习过程.

  但有时图的边未必能够很好地表示顶点的相似性, 相连的顶点未必倾向于有相同的标签. 在这种情况下, 在损失函数中显式地加入表示图结构的正则化项来迫使图上相连的顶点倾向于拥有相同的标记, 就可能对模型的预测能力造成限制.

• 为了解决这个问题, 类似于在图像处理中使用卷积来提取一个像素及其周边像素特征, 我们可以在图上定义卷积, 通过卷积来提取一个顶点及其相邻顶点的特征, 从而直接把图的结构用GCN来表示, 避免了图结构在损失函数中显式出现, 从而解决上述问题.

• 文章提出了一种GCN框架, 即在神经网络中的每一层用一个一阶切比雪夫不等式来对图上卷积进行近似, 通过多层网络的传播达到多阶相邻顶点间特征传播的效果, 并最终实现分类目的. 实验证实这个简单的框架是准确和高效的.

2. 背景知识

2.1 普通的图上半监督学习

对于一个数据集, 当我们知道数据集中的样本之前存在某种关系时, 就可以以这些样本为顶点定义一张图, 如文献的引用关系, 知识点的依赖关系等. 如果数据集中只有部分样本的标签已知, 那么我们可以借助这张图的结构和已知样本的标签来预测其余样本的标签或者数据集之外样本的标签. 我们假设图的邻接矩阵为$\mathbf{A}$.

(实际上, 即使样本之间没有已知的显式的关系, 我们也可以将样本定义成一张图. 当两个样本的相似度足够高时, 将其连一条边; 或者将所有顶点之间连接一条边, 用边权表示样本间的相似程度. 若用两个样本之差的范数表示其相似程度, 则该图的邻接矩阵可定义为
$$(\mathbf{A}{)}_{ij}=\{\begin{array}{rlr}{e}^{\frac{||x_i-x_j|{|}^2}{2{\sigma }^2}}& ,& i̸=j\\ 0& ,& i=j\end{array}$$

其中$x_i$为表示样本$i$的特征的向量, $||x_i-x_j||$为两个样本特征之间的某种闵氏距离.)

对于一个定义在图的顶点空间$\mathbf{V}$上的实函数$f:V\to R$, 定义函数
$$E(f)=\sum _{i,j}(\mathbf{A}{)}_{ij}(f(x_i)-f(x_j){)}^2$$

这个函数表彰了相似的样本是否具有相近的标记. 我们借助在特征上相近的样本点应具有相同的标签这一假设来完成半监督学习过程. 这样我们可以将损失函数设定为
$$L=\lambda (\sum _{i,j}{\mathbf{A}}_{ij}\Vert \frac{f(x_i)}{\sqrt{d_i}}-\frac{f(x_j)}{\sqrt{d_j}}{\Vert }^2)+\sum _i\Vert f(x_i)-y_i{\Vert }^2$$

即
$$L=\lambda L_{reg}+L_0$$
其中 $L_0={\sum }_i\Vert f(x_i)-y_i{\Vert }^2$ 使得有标记样本上的预测尽量和真实标记相同, 而正则化项 $L_{reg}=\lambda ({\sum }_{i,j}{\mathbf{A}}_{ij}\Vert \frac{f(}{\sqrt{d_i}}$