GNN学习笔记（三）：基于图神经网络的节点表征学习

最新推荐文章于 2023-02-17 22:57:19 发布

唠叨小主

最新推荐文章于 2023-02-17 22:57:19 发布

阅读量1.2k

点赞数 2

分类专栏： GNN 文章标签：神经网络机器学习可视化

本文链接：https://blog.csdn.net/LuoMin2523/article/details/118156231

版权

GNN 专栏收录该内容

9 篇文章 23 订阅

订阅专栏

haha，好久不见，唠叨小主现在游离于人世间，唠叨小主想不明白为何以前的刀剑变成了现在的键盘，唠叨小主如果要继续行走江湖的话，就必须得学点代码，毕竟以前唠叨小主拿着剑，策马扬鞭，便可行走天下，现在，不可以骑马，得开车，开车需要money，money的来源在于写代码，唠叨小主孤苦伶仃，码字如下：（悲情人设结束🔚）（步入主题）（有点神经质的唠叨小主带你解说今天的学习内容——节点表征（Node Representation））

0、引言

在图节点预测或边预测任务中，首先需要生成节点表征（Node Representation）。我们使用图神经网络来生成节点表征，并通过基于监督学习的对图神经网络的训练，使得图神经网络学会产生高质量的节点表征。高质量的节点表征能够用于衡量节点的相似性，同时高质量的节点表征也是准确分类节点的前提。

本节中，我们将学习实现多层图神经网络的方法，并以节点分类任务为例，学习训练图神经网络的一般过程。我们将以Cora数据集为例子进行说明，Cora是一个论文引用网络，节点代表论文，如果两篇论文存在引用关系，则对应的两个节点之间存在边，各节点的属性都是一个1433维的词包特征向量。我们的任务是预测各篇论文的类别（共7类）。我们还将对MLP和GCN, GAT（两个知名度很高的图神经网络）三类神经网络在节点分类任务中的表现进行比较分析，以此来展现图神经网络的强大和论证图神经网络强于普通深度神经网络的原因。

「源自：Datawhale，参考资料1」

此节内容安排如下：

首先，我们要做一些准备工作，即获取并分析数据集、构建一个方法用于分析节点表征的分布。
然后，我们考察MLP神经网络用于节点分类的表现，并观察基于MLP神经网络学习到的节点表征的分布。
接着，我们逐一介绍GCN, GAT这两个图神经网络的理论、对比它们在节点分类任务中的表现以及它们学习到的节点表征的质量。
最后，我们比较三者在节点表征学习能力上的差异。

1、准备工作

第一步获取数据并分析数据集

这一步，需注意，我们运用normalizeFeatures 进行节点特征归一化。

# 获取并分析数据集
from torch_geometric.datasets import Planetoid
from torch_geometric.transforms import NormalizeFeatures

dataset = Planetoid(root='data/Planetoid', name='Cora', transform=NormalizeFeatures())

print()
print(f'Dataset: {dataset}:')
print('======================')
print(f'Number of graphs: {len(dataset)}')
print(f'Number of features: {dataset.num_features}')
print(f'Number of classes: {dataset.num_classes}')

data = dataset[0]  # Get the first graph object.

print()
print(data)
print('======================')

# Gather some statistics about the graph.
print(f'Number of nodes: {data.num_nodes}')
print(f'Number of edges: {data.num_edges}')
print(f'Average node degree: {data.num_edges / data.num_nodes:.2f}')
print(f'Number of training nodes: {data.train_mask.sum()}')
print(f'Training node label rate: {int(data.train_mask.sum()) / data.num_nodes:.2f}')
print(f'Contains isolated nodes: {data.contains_isolated_nodes()}')
print(f'Contains self-loops: {data.contains_self_loops()}')
print(f'Is undirected: {data.is_undirected()}')

结果如下图所示：

第二步可视化节点表征分布的方法

在可视化的过程中，我们使用TSNE的方法将高维的节点映射到二维平面空间，然后再在二维空间画出节点。

# 可视化节点表征分布的方法
import matplotlib.pyplot as plt
from sklearn.manifold import TSNE

def visualize(h, color):
    z = TSNE(n_components=2).fit_transform(out.detach().cpu().numpy())
    plt.figure(figsize=(10,10))
    plt.xticks([])
    plt.yticks([])

    plt.scatter(z[:, 0], z[:, 1], s=70, c=color, cmap="Set2")
    plt.show()

2、使用MLP神经网络进行节点分类

（1）MLP神经网络的构造

# MLP图节点分类神经网络
import torch
from torch.nn import Linear
import torch.nn.functional as F


class MLP(torch.nn.Module):
    def __init__(self, hidden_channels):
        super(MLP, self).__init__()
        torch.manual_seed(12345)
        self.lin1 = Linear(dataset.num_features, hidden_channels)
        self.lin2 = Linear(hidden_channels, dataset.num_classes)

    def forward(self, x):
        x = self.lin1(x)
        x = x.relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.lin2(x)
        return x

model = MLP(hidden_channels=16)
print(model)

（2）MLP神经网络的训练

model = MLP(hidden_channels=16)
criterion = torch.nn.CrossEntropyLoss()  # Define loss criterion.
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)  # Define optimizer.

def train():
      model.train()
      optimizer.zero_grad()  # Clear gradients.
      out = model(data.x)  # Perform a single forward pass.
      loss = criterion(out[data.train_mask], data.y[data.train_mask])  # Compute the loss solely based on the training nodes.
      loss.backward()  # Derive gradients.
      optimizer.step()  # Update parameters based on gradients.
      return loss

for epoch in range(1, 201):
    loss = train()
    print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}')

结果：输入200个回合的Loss值，如下图所示（只展示一部分）：

（3）MLP神经网络的测试

def test():
      model.eval()
      out = model(data.x)
      pred = out.argmax(dim=1)  # Use the class with highest probability.
      test_correct = pred[data.test_mask] == data.y[data.test_mask]  # Check against ground-truth labels.
      test_acc = int(test_correct.sum()) / int(data.test_mask.sum())  # Derive ratio of correct predictions.
      return test_acc

test_acc = test()
print(f'Test Accuracy: {test_acc:.4f}')

结果输出：

Test Accuracy: 0.5900

3、使用卷积图神经网络（GCN）进行节点分类

（1）GCN图神经网络的构造

# GCN图节点分类神经网络
from torch_geometric.nn import GCNConv

class GCN(torch.nn.Module):
    def __init__(self, hidden_channels):
        super(GCN, self).__init__()
        torch.manual_seed(12345)
        self.conv1 = GCNConv(dataset.num_features, hidden_channels)
        self.conv2 = GCNConv(hidden_channels, dataset.num_classes)

    def forward(self, x, edge_index):
        x = self.conv1(x, edge_index)
        x = x.relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.conv2(x, edge_index)
        return x

model = GCN(hidden_channels=16)
print(model)

结果输出：

GCN(
  (conv1): GCNConv(1433, 16)
  (conv2): GCNConv(16, 7)
)

（2）可视化由未经训练的GCN图神经网络生成的节点表征

# 可视化未训练过的模型输出的节点表征
model = GCN(hidden_channels=16)
model.eval()

out = model(data.x, data.edge_index)
visualize(out, color=data.y)

结果输出：

（3）GCN图神经网络的训练、测试

# 训练GCN图节点分类器
model = GCN(hidden_channels=16)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)
criterion = torch.nn.CrossEntropyLoss()

def train():
      model.train()
      optimizer.zero_grad()  # Clear gradients.
      out = model(data.x, data.edge_index)  # Perform a single forward pass.
      loss = criterion(out[data.train_mask], data.y[data.train_mask])  # Compute the loss solely based on the training nodes.
      loss.backward()  # Derive gradients.
      optimizer.step()  # Update parameters based on gradients.
      return loss

for epoch in range(1, 201):
    loss = train()
    print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}')
# 测试GCN图节点分类器
def test():
      model.eval()
      out = model(data.x, data.edge_index)
      pred = out.argmax(dim=1)  # Use the class with highest probability.
      test_correct = pred[data.test_mask] == data.y[data.test_mask]  # Check against ground-truth labels.
      test_acc = int(test_correct.sum()) / int(data.test_mask.sum())  # Derive ratio of correct predictions.
      return test_acc

test_acc = test()
print(f'Test Accuracy: {test_acc:.4f}')

结果输出：

Test Accuracy: 0.8140

（4）可视化由训练后的GCN图神经网络生成的节点表征

# 可视化训练过的GCN模型输出的节点表征
model.eval()

out = model(data.x, data.edge_index)
visualize(out, color=data.y)

4、使用图注意力神经网络（GAT）进行节点分类

（1）GAT图神经网络的构造、训练、测试

# 构造GAT节点分类神经网络
import torch
from torch.nn import Linear
import torch.nn.functional as F

from torch_geometric.nn import GATConv

class GAT(torch.nn.Module):
    def __init__(self, hidden_channels):
        super(GAT, self).__init__()
        torch.manual_seed(12345)
        self.conv1 = GATConv(dataset.num_features, hidden_channels)
        self.conv2 = GATConv(hidden_channels, dataset.num_classes)

    def forward(self, x, edge_index):
        x = self.conv1(x, edge_index)
        x = x.relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.conv2(x, edge_index)
        return x
# 可视化未训练过的GAT模型输出的节点表征
model.eval()

out = model(data.x, data.edge_index)
visualize(out, color=data.y)
# 训练GAT图节点分类器
model = GAT(hidden_channels=16)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)
criterion = torch.nn.CrossEntropyLoss()

def train():
      model.train()
      optimizer.zero_grad()  # Clear gradients.
      out = model(data.x, data.edge_index)  # Perform a single forward pass.
      loss = criterion(out[data.train_mask], data.y[data.train_mask])  # Compute the loss solely based on the training nodes.
      loss.backward()  # Derive gradients.
      optimizer.step()  # Update parameters based on gradients.
      return loss

for epoch in range(1, 201):
    loss = train()
    print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}')
# 测试GAT图节点分类器
def test():
      model.eval()
      out = model(data.x, data.edge_index)
      pred = out.argmax(dim=1)  # Use the class with highest probability.
      test_correct = pred[data.test_mask] == data.y[data.test_mask]  # Check against ground-truth labels.
      test_acc = int(test_correct.sum()) / int(data.test_mask.sum())  # Derive ratio of correct predictions.
      return test_acc

test_acc = test()
print(f'Test Accuracy: {test_acc:.4f}')
# 可视化训练过的GAT模型输出的节点表征
model.eval()

out = model(data.x, data.edge_index)
visualize(out, color=data.y)

结果输出：

Test Accuracy: 0.7380

5、总结

在节点表征的学习中，MLP神经网络只考虑了节点自身属性，忽略了节点之间的连接关系，它的结果是最差的；而GCN图神经网络与GAT图神经网络，同时考虑了节点自身信息与周围邻接节点的信息，因此它们的结果都优于MLP神经网络。也就是说，对周围邻接节点的信息的考虑，是图神经网络由于普通深度神经网络的原因。

GCN图神经网络与GAT图神经网络的相同点为：

它们都遵循消息传递范式；
在邻接节点信息变换阶段，它们都对邻接节点做归一化和线性变换；
在邻接节点信息聚合阶段，它们都将变换后的邻接节点信息做求和聚合；
在中心节点信息变换阶段，它们都只是简单返回邻接节点信息聚合阶段的聚合结果。

GCN图神经网络与GAT图神经网络的区别在于邻接节点信息聚合过程中的归一化方法不同：

前者根据中心节点与邻接节点的度计算归一化系数，后者根据中心节点与邻接节点的相似度计算归一化系数。
前者的归一化方式依赖于图的拓扑结构：不同的节点会有不同的度，同时不同节点的邻接节点的度也不同，于是在一些应用中GCN图神经网络会表现出较差的泛化能力。
后者的归一化方式依赖于中心节点与邻接节点的相似度，相似度是训练得到的，因此不受图的拓扑结构的影响，在不同的任务中都会有较好的泛化表现。

参照这份代码使用PyG中不同的图卷积模块在PyG的不同数据集上实现节点分类或回归任务

「参看下一篇...哈哈」

「下一篇，唠叨小主再继续唠叨...」

参考资料：

https://github.com/datawhalechina/team-learning-nlp/tree/master/GNN/Markdown版本

唠叨小主

关注

2
点赞
踩
14

收藏

觉得还不错? 一键收藏
2
评论
GNN学习笔记（三）：基于图神经网络的节点表征学习

haha，好久不见，唠叨小主现在游离于人世间，唠叨小主想不明白为何以前的刀剑变成了现在的键盘，唠叨小主如果要继续行走江湖的话，就必须得学点代码，毕竟以前唠叨小主拿着剑，策马扬鞭，便可行走天下，现在，不可以骑马，得开车，开车需要money，money的来源在于写代码，唠叨小主孤苦伶仃，码字如下：（悲情人设结束????）（步入主题）（有点神经质的唠叨小主带你解说今天的学习内容——节点表征（Node Representation））0、引言在图节点预测或边预测任务中，首先需要生成节点表征（Node Re
复制链接

扫一扫