基于图神经网络的节点表征学习

最新推荐文章于 2023-02-16 16:59:10 发布

王小若愚

最新推荐文章于 2023-02-16 16:59:10 发布

阅读量318

点赞数

本文链接：https://blog.csdn.net/m0_53159830/article/details/118162752

版权

基于图神经网络的节点表征学习

处理步骤：

首先，我们要做一些准备工作，即获取并分析数据集、构建一个方法用于分析节点表征的分布。
然后，我们考察MLP(Multilayer Perceptron)神经网络用于节点分类的表现，并观察基于MLP神经网络学习到的节点表征的分布。
接着，我们逐一介绍GCN(Graph Convolutional Networks), GAT(Graph Attention Networks)这两个图神经网络的理论、对比它们在节点分类任务中的表现以及它们学习到的节点表征的质量。
最后，我们比较三者在节点表征学习能力上的差异。

准备工作

获取并分析数据集

from torch_geometric.datasets import Planetoid
from torch_geometric.transforms import NormalizeFeatures

dataset = Planetoid(root='dataset', name='Cora', transform=NormalizeFeatures())

print()
print(f'Dataset: {dataset}:')
print('======================')
print(f'Number of graphs: {len(dataset)}')
print(f'Number of features: {dataset.num_features}')
print(f'Number of classes: {dataset.num_classes}')

data = dataset[0]  # Get the first graph object.

print()
print(data)
print('======================')

# Gather some statistics about the graph.
print(f'Number of nodes: {data.num_nodes}')
print(f'Number of edges: {data.num_edges}')
print(f'Average node degree: {data.num_edges / data.num_nodes:.2f}')
print(f'Number of training nodes: {data.train_mask.sum()}')
print(f'Training node label rate: {int(data.train_mask.sum()) / data.num_nodes:.2f}')
print(f'Contains isolated nodes: {data.contains_isolated_nodes()}')
print(f'Contains self-loops: {data.contains_self_loops()}')
print(f'Is undirected: {data.is_undirected()}')

输出在这里插入图片描述
我们可以看到，Cora图拥有2,708个节点和10,556条边，平均节点度为3.9，训练集仅使用了140个节点，占整体的5%。我们还可以看到，这个图是无向图，不存在孤立的节点。

数据转换（transform）在将数据输入到神经网络之前修改数据，这一功能可用于实现数据规范化或数据增强。在此例子中，我们使用NormalizeFeatures进行节点特征归一化，使各节点特征总和为1。其他的数据转换方法请参阅torch-geometric-transforms。

NormalizeFeatures：
Row-normalizes node features to sum-up to one（行标准化节点特征以总结为一）

可视化节点表征分布的方法

import matplotlib.pyplot as plt
from sklearn.manifold import TSNE

def visualize(h, color):
    z = TSNE(n_components=2).fit_transform(out.detach().cpu().numpy())
    plt.figure(figsize=(10,10))
    plt.xticks([])
    plt.yticks([])

    plt.scatter(z[:, 0], z[:, 1], s=70, c=color, cmap="Set2")
    plt.show()

我们先利用TSNE方法将高维的节点表征映射到二维平面空间，然后在二维平面画出节点，这样我们就实现了节点表征分布的可视化。

卷积图神经网络（GCN）构建

GCN的定义

GCN 来源于论文“Semi-supervised Classification with Graph Convolutional Network”，其数学定义为，
$\mathbf{X}^{\prime} = \mathbf{\hat{D}}^{-1/2} \mathbf{\hat{A}} \mathbf{\hat{D}}^{-1/2} \mathbf{X} \mathbf{\Theta},$
其中 $\mathbf{\hat{A}} = \mathbf{A} + \mathbf{I}$ 表示插入自环的邻接矩阵（使得每一个节点都有一条边连接到自身）， $\hat{D}_{ii} = \sum_{j=0} \hat{A}_{ij}$ 表示 $\mathbf{\hat{A}}$ 的对角线度矩阵（对角线元素为对应节点的度，其余元素为0）。邻接矩阵可以包括不为 $1$ 的值，当邻接矩阵不为{0,1}值时，表示邻接矩阵存储的是边的权重。 $\mathbf{\hat{D}}^{-1/2} \mathbf{\hat{A}} \mathbf{\hat{D}}^{-1/2}$ 是对称归一化矩阵，它的节点式表述为：
$\mathbf{x}^{\prime}_i = \mathbf{\Theta} \sum_{j \in \mathcal{N}(v) \cup \{ i \}} \frac{e_{j,i}}{\sqrt{\hat{d}_j \hat{d}_i}} \mathbf{x}_j$
其中， $\hat{d}_i = 1 + \sum_{j \in \mathcal{N}(i)} e_{j,i}$ ， $e_{j,i}$ 表示从源节点 $j$ 到目标节点 $i$ 的边的对称归一化系数（默认值为1.0）。

PyG中`GCNConv` 模块说明

GCNConv构造函数接口：

GCNConv(in_channels: int, out_channels: int, improved: bool = False, cached: bool = False, add_self_loops: bool = True, normalize: bool = True, bias: bool = True, **kwargs)

其中：

in_channels：输入数据维度；
out_channels：输出数据维度；
improved：如果为true， $\mathbf{\hat{A}} = \mathbf{A} + 2\mathbf{I}$ ，其目的在于增强中心节点自身信息；
cached：是否存储 $\mathbf{\hat{D}}^{-1/2} \mathbf{\hat{A}} \mathbf{\hat{D}}^{-1/2}$ 的计算结果以便后续使用，这个参数只应在归纳学习（transductive learning）的场景中设置为true（归纳学习可以简单理解为在训练、验证、测试、推理（inference）四个阶段都只使用一个数据集）；
add_self_loops：是否在邻接矩阵中增加自环边；
normalize：是否添加自环边并在运行中计算对称归一化系数；
bias：是否包含偏置项。

详细内容请大家参阅GCNConv官方文档。

GCN图神经网络的构造

model.train()和model.eval()的作用：

model.train()
启用 Batch Normalization 和 Dropout。
如果模型中有批标准化 BN层(Batch Normalization）和Dropout，需要在训练时添加model.train()。model.train()是保证BN层能够用到每一批数据的均值和方差。对于Dropout，model.train()是随机取一部分网络连接来训练更新参数。

model.eval()
不启用 Batch Normalization 和 Dropout。
如果模型中有BN层(Batch Normalization）和Dropout，在测试时添加model.eval()。model.eval()是保证BN层能够用全部训练数据的均值和方差，即测试过程中要保证BN层的均值和方差不变。对于Dropout，model.eval()是利用到了所有网络连接，即不进行随机舍弃神经元。

训练完train样本后，生成的模型model要用来测试样本。在model(test)之前，需要加上model.eval()，否则的话，有输入数据，即使不训练，它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。

就是：model.eval()时，BN层会停止计算和更新mean和var，使用在训练阶段mean和var值，所以BN层还是启用了的。

参考链接：关于model.eval()

将上面例子中的torch.nn.Linear替换成torch_geometric.nn.GCNConv，我们就可以得到一个GCN图神经网络，如下方代码所示：

from torch_geometric.nn import GCNConv

class GCN(torch.nn.Module):
    def __init__(self, hidden_channels):
        super(GCN, self).__init__()
        torch.manual_seed(12345)
        self.conv1 = GCNConv(dataset.num_features, hidden_channels)
        self.conv2 = GCNConv(hidden_channels, dataset.num_classes)

    def forward(self, x, edge_index):
        x = self.conv1(x, edge_index)
        x = x.relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.conv2(x, edge_index)
        return x

model = GCN(hidden_channels=16)
print(model)

可视化由未经训练的GCN图神经网络生成的节点表征

代码如下所示：

model = GCN(hidden_channels=16)
model.eval()

out = model(data.x, data.edge_index)
visualize(out, color=data.y)

经过visualize函数的处理，7维特征的节点被映射到2维的平面上。我们会惊喜地看到“同类节点群聚”的现象。

GCN图神经网络的训练

通过下方的代码我们可实现GCN图神经网络的训练：

model = GCN(hidden_channels=16)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)
criterion = torch.nn.CrossEntropyLoss()

def train():
      model.train()
      optimizer.zero_grad()  # Clear gradients.
      out = model(data.x, data.edge_index)  # Perform a single forward pass.
      loss = criterion(out[data.train_mask], data.y[data.train_mask])  # Compute the loss solely based on the training nodes.
      loss.backward()  # Derive gradients.
      optimizer.step()  # Update parameters based on gradients.
      return loss

for epoch in range(1, 201):
    loss = train()
    print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}')

在这里插入图片描述

GCN图神经网络的测试

在训练过程结束后，我们检测GCN图神经网络在测试集上的准确性：

def test():
      model.eval()
      out = model(data.x, data.edge_index)
      pred = out.argmax(dim=1)  # Use the class with highest probability.
      test_correct = pred[data.test_mask] == data.y[data.test_mask]  # Check against ground-truth labels.
      test_acc = int(test_correct.sum()) / int(data.test_mask.sum())  # Derive ratio of correct predictions.
      return test_acc

test_acc = test()
print(f'Test Accuracy: {test_acc:.4f}')

通过简单地将torch.nn.Linear替换成torch_geometric.nn.GCNConv，我们可以取得81.4%的测试准确率！与前面的仅获得59%的测试准确率的MLP图神经网络相比，GCN图神经网络准确性要高得多。这表明节点的邻接信息在取得更好的准确率方面起着关键作用。

可视化由训练后的GCN图神经网络生成的节点表征

最后我们可视化训练后的GCN图神经网络生成的节点表征，我们会发现“同类节点群聚”的现象更加明显了。这意味着在训练后，GCN图神经网络生成的节点表征质量更高了。

model.eval()

out = model(data.x, data.edge_index)
visualize(out, color=data.y)

王小若愚

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
基于图神经网络的节点表征学习

基于图神经网络的节点表征学习处理步骤：首先，我们要做一些准备工作，即获取并分析数据集、构建一个方法用于分析节点表征的分布。然后，我们考察MLP(Multilayer Perceptron)神经网络用于节点分类的表现，并观察基于MLP神经网络学习到的节点表征的分布。接着，我们逐一介绍GCN(Graph Convolutional Networks), GAT(Graph Attention Networks)这两个图神经网络的理论、对比它们在节点分类任务中的表现以及它们学习到的节点表征的质量。最后
复制链接

扫一扫