基于图神经网络的节点表征学习

最新推荐文章于 2023-02-16 16:59:10 发布
最新推荐文章于 2023-02-16 16:59:10 发布
阅读量330 收藏
点赞数
分类专栏： 笔记 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41577592/article/details/118147552
版权

基于图神经网络的节点表征学习

本节中，我们将学习实现多层图神经网络的方法，以及训练图神经网络产生高质量节点表征并实现高准确性节点分类的一般过程。
我们的任务是根据节点的属性(可以是类别型、也可以是数值型)、边的信息、边的属性（如果有的话）、已知的节点预测标签，对未知标签的节点做预测。

Cora数据集介绍

  • Cora数据集由许多机器学习领域的paper构成，这些paper被分为7个类别：Case_Based、Genetic_Algorithms、Neural_Networks、Probabilistic_Methods、Reinforcement_Learning、Rule_Learning、Theory。
  • 在该数据集中，每一篇论文至少引用了该数据集里面另外一篇论文或者被另外一篇论文所引用，数据集总共有2708篇papers。在消除停词以及除去文档频率小于10的词汇，最终词汇表中有1433个词汇。

数据集中包含两个文件：

  1. .content文件包含对paper的内容描述，格式为
    • <paper_id>:paper的标识符，每一篇paper对应一个标识符。
    • <word_attributes>:是词汇特征，为0或1，表示对应词汇是否存在。
    • <class_label>:是该文档所述的类别。
  2. .cites文件包含数据集的引用图(citation graph)，每一行格式如下
    • :被引用的paper标识符。
    • :引用的paper标识符。

引用的方向是从右向左的，比如有一行为paper1 paper2，那么对应的连接关系是paper2->paper1。

MLP和GCN, GAT节点表征学习能力对比

准备工作

##引入数据集
from torch_geometric.datasets import Planetoid
from torch_geometric.transforms import NormalizeFeatures

dataset = Planetoid(root='/home/**/python_file/gnn/dataset', name='Cora',transform=NormalizeFeatures())
data = dataset[0]
print(data)

##节点表征分布可视化工具加载
import matplotlib.pyplot as plt
from sklearn.manifold import TSNE

def visualize(h, color):
    z = TSNE(n_components=2).fit_transform(out.detach().cpu().numpy())
    plt.figure(figsize=(10,10))
    plt.xticks([])
    plt.yticks([])

    plt.scatter(z[:, 0], z[:, 1], s=70, c=color, cmap="Set2")
    plt.show()

MLP在图节点分类任务中的应用

##MLP图节点分类器
import torch
from torch.nn import Linear
import torch.nn.functional as F

class MLP(torch.nn.Module):
    def __init__(self, hidden_channels):
        super(MLP, self).__init__()
        torch.manual_seed(12345)
        self.lin1 = Linear(dataset.num_features, hidden_channels)
        self.lin2 = Linear(hidden_channels, dataset.num_classes)

    def forward(self, x):
        x = self.lin1(x)
        x = x.relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.lin2(x)
        return x

# 简单训练MLP
model = MLP(hidden_channels=16)
print(model)
model = MLP(hidden_channels=16)
criterion = torch.nn.CrossEntropyLoss()  # Define loss criterion.
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)  # Define optimizer.

def train():
    model.train()
    optimizer.zero_grad()  # Clear gradients.
    out = model(data.x)  # Perform a single forward pass.
    loss = criterion(out[data.train_mask], data.y[data.train_mask])  # Compute the loss solely based on the training nodes.
    loss.backward()  # Derive gradients.
    optimizer.step()  # Update parameters based on gradients.
    return loss

for epoch in range(1, 201):
    loss = train()
    # print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}')

##测试效果
def test():
    model.eval()
    out = model(data.x)
    pred = out.argmax(dim=1)  # Use the class with highest probability.
    test_correct = pred[data.test_mask] == data.y[data.test_mask]  # Check against ground-truth labels.
    test_acc = int(test_correct.sum()) / int(data.test_mask.sum())  # Derive ratio of correct predictions.
    return test_acc

test_acc = test()
print(f'Test Accuracy: {test_acc:.4f}')

GCN在图节点分类任务中的应用

##引入GCN
from torch_geometric.nn import GCNConv

class GCN(torch.nn.Module):
    def __init__(self, hidden_channels):
        super(GCN, self).__init__()
        torch.manual_seed(12345)
        self.conv1 = GCNConv(dataset.num_features, hidden_channels)
        self.conv2 = GCNConv(hidden_channels, dataset.num_classes)

    def forward(self, x, edge_index):
        x = self.conv1(x, edge_index)
        x = x.relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.conv2(x, edge_index)
        return x

model = GCN(hidden_channels=16)
print(model)

##未训练数据可视化
model = GCN(hidden_channels=16)
model.eval()

out = model(data.x, data.edge_index)
visualize(out, color=data.y)

##训练GCN分类器
model = GCN(hidden_channels=16)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)
criterion = torch.nn.CrossEntropyLoss()

def train():
      model.train()
      optimizer.zero_grad()  # Clear gradients.
      out = model(data.x, data.edge_index)  # Perform a single forward pass.
      loss = criterion(out[data.train_mask], data.y[data.train_mask])  # Compute the loss solely based on the training nodes.
      loss.backward()  # Derive gradients.
      optimizer.step()  # Update parameters based on gradients.
      return loss

for epoch in range(1, 201):
    loss = train()
    # print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}')

##测试效果
def test():
      model.eval()
      out = model(data.x, data.edge_index)
      pred = out.argmax(dim=1)  # Use the class with highest probability.
      test_correct = pred[data.test_mask] == data.y[data.test_mask]  # Check against ground-truth labels.
      test_acc = int(test_correct.sum()) / int(data.test_mask.sum())  # Derive ratio of correct predictions.
      return test_acc

test_acc = test()
print(f'Test Accuracy: {test_acc:.4f}')

##训练后结果可视化
model.eval()

out = model(data.x, data.edge_index)
visualize(out, color=data.y)

GAT在图节点分类任务中应用

##引入GAT
import torch
from torch.nn import Linear
import torch.nn.functional as F

from torch_geometric.nn import GATConv

class GAT(torch.nn.Module):
    def __init__(self, hidden_channels):
        super(GAT, self).__init__()
        torch.manual_seed(12345)
        self.conv1 = GATConv(dataset.num_features, hidden_channels)
        self.conv2 = GATConv(hidden_channels, dataset.num_classes)

    def forward(self, x, edge_index):
        x = self.conv1(x, edge_index)
        x = x.relu()
        x = F.dropout(x, p=0.5, training=self.training)
        x = self.conv2(x, edge_index)
        return x
model = GAT(hidden_channels=16)
print(model)

##未训练数据可视化
model = GAT(hidden_channels=16)
model.eval()

out = model(data.x, data.edge_index)
visualize(out, color=data.y)

##训练GAT分类器
model = GAT(hidden_channels=16)
optimizer = torch.optim.Adam(model.parameters(), lr=0.01, weight_decay=5e-4)
criterion = torch.nn.CrossEntropyLoss()

def train():
      model.train()
      optimizer.zero_grad()  # Clear gradients.
      out = model(data.x, data.edge_index)  # Perform a single forward pass.
      loss = criterion(out[data.train_mask], data.y[data.train_mask])  # Compute the loss solely based on the training nodes.
      loss.backward()  # Derive gradients.
      optimizer.step()  # Update parameters based on gradients.
      return loss

for epoch in range(1, 201):
    loss = train()
    # print(f'Epoch: {epoch:03d}, Loss: {loss:.4f}')

##def test():
      model.eval()
      out = model(data.x, data.edge_index)
      pred = out.argmax(dim=1)  # Use the class with highest probability.
      test_correct = pred[data.test_mask] == data.y[data.test_mask]  # Check against ground-truth labels.
      test_acc = int(test_correct.sum()) / int(data.test_mask.sum())  # Derive ratio of correct predictions.
      return test_acc

test_acc = test()
print(f'Test Accuracy: {test_acc:.4f}')

##训练后数据可视化
model.eval()

out = model(data.x, data.edge_index)
visualize(out, color=data.y)

结果对比分析

  • 实测精度（未调参情况）：ACC(GCN)>ACC(GAT)>ACC(MLP)
  • 原因：在节点表征的学习中，MLP节点分类器只考虑了节点自身属性，忽略了节点之间的连接关系，它的结果是最差的；而GCN与GAT节点分类器，同时考虑了节点自身属性与周围邻居节点的属性，它们的结果优于MLP节点分类器。从中可以看出邻居节点的信息对于节点分类任务的重要性。
  • GCN与GAT的区别在于邻居节点信息聚合过程中的归一化方法不同：
    • 前者根据中心节点与邻居节点的度计算归一化系数，后者根据中心节点与邻居节点的相似度计算归一化系数。
    • 前者的归一化方式依赖于图的拓扑结构，不同节点其自身的度不同、其邻居的度也不同，在一些应用中可能会影响泛化能力。
    • 后者的归一化方式依赖于中心节点与邻居节点的相似度，相似度是训练得到的，因此不受图的拓扑结构的影响，在不同的任务中都会有较好的泛化表现。

参考资料：

https://github.com/datawhalechina/team-learning-nlp/tree
https://zhuanlan.zhihu.com/p/78452993

cold_ember
关注
专栏目录
GNN学习笔记（三）：基于图神经网络的节点表征学习
LuoMin2523的博客
06-23 1379
haha，好久不见，唠叨小主现在游离于人世间，唠叨小主想不明白为何以前的刀剑变成了现在的键盘，唠叨小主如果要继续行走江湖的话，就必须得学点代码，毕竟以前唠叨小主拿着剑，策马扬鞭，便可行走天下，现在，不可以骑马，得开车，开车需要money，money的来源在于写代码，唠叨小主孤苦伶仃，码字如下：（悲情人设结束????）（步入主题）（有点神经质的唠叨小主带你解说今天的学习内容——节点表征（Node Representation）） 0、 引言 在图节点预测或边预测任务中，首先需要生成节点表征（Node Re
图神经网络GNN(三):基于图神经网络的节点表征学习
Miracle8070
06-24 3408
1. 写在前面 这个系列整理的关于GNN的相关基础知识， 图深度学习是一个新兴的研究领域，将深度学习与图数据连接了起来，推动现实中图预测应用的发展。 之前一直想接触这一块内容，但总找不到能入门的好方法，而这次正好Datawhale有组队学习课，有大佬亲自带队学习入门，不犹豫，走起(感谢组织)。所以这个系列是参加GNN组队学习的相关知识沉淀， 希望能对GNN有一个好的入门吧 ???? 这一篇内容呢叫做图神经网络的节点表征学习，节点表征是图节点预测或边预测任务中的第一步。高质量节点表征应该能用于衡量节点的相似性
超大图上的节点表征学习
weixin_43595036的博客
07-01 268
1. 引言 图神经网络已经成功地应用于许多节点或边的预测任务，然而，在超大图上进行图神经网络的训练仍然具有挑战。普通的基于SGD的图神经网络的训练方法，要么面临着随着图神经网络层数增加，计算成本呈指数增长的问题，要么面临着保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间的问题。虽然已经有一些论文提出了无需保存整个图的信息和每一层每个节点的表征到GPU内存（显存）的方法，但这些方法可能会损失预测精度或者对提高内存的利用率并不明显。于是论文Cluster-GCN: An Effic
图神经网络--图的基本表示和特征工程
weixin_43557816的博客
02-16 1507
图的基本表示和特征工程
5-基于图神经网络的节点表征学习1
08-04
引言在图节点预测或边预测任务中，首先需要生成节点表征（Node Representation）。我们使用图神经网络来生成节点表征，并通过基于监督学习的对图神经网
Task03 基于图神经网络的节点表征学习
maozixiang的博客
06-24 201
Task03 基于图神经网络的节点表征学习 一、节点表征 节点表征是图节点预测或边预测任务的前奏 用图神经网络来生成节点表征，并通过基于监督学习的对图神经网络的训练，使得图神经网络学会产生高质量的节点表征 高质量的节点表征能够用于衡量节点的相似性，同时高质量的节点表征也是准确分类节点的前提。 二、准备工作 在数据输入神经网络之前修改数据，可以实现数据规范化或数据增强 可视化节点表征 import matplotlib.pyplot as plt from sklearn.manifold imp
节点表征学习[GCN、GAT]
qq_42766639的博客
06-23 1338
节点表征学习[GCN、GAT]引言节点表征学习 引言 图神经网络机器学习、深度学习的根本目的是学习图数据，将图结构embedding为计算机可处理的向量矩阵。 以空域的卷积为例，每一次卷积之后得到的的特征变换实际上是改变了节点的隐状态。得到每个节点聚合和更新之后的隐状态后就可以执行下游的任务(节点分类，边分类，图分类)。本次将比较只是用NN和用图神经网络算法（GCN、GAT）的差异。 节点表征学习 GCN的公式,在pyG中很好实现，下面看代码 from torch_geometric.nn impor
图神经网络之三：节点表征学习（未完待续）
博客小主
06-24 1380
图神经网络之节点表征学习
基于图神经网络的图表征学习方法
weixin_41577592的博客
07-05 925
@TOC基于图神经网络的图表征学习方法 以图同构网络(Graph Isomorphism Network, GIN)为例学习基于图神经网络的图表征学习。图表征学习要求根据节点属性、边和边的属性（如果有的话）生成一个向量作为图的表征，基于图表征我们可以做图的预测。 #基于图同构网络（GIN）的图表征网络的实现 计算得到节点表征； 对图上各个节点的表征做图池化（Graph Pooling），或称为图读出（Graph Readout），得到图的表征（Graph Representation）。 ##基于图同
CV实践--语义分割3
weixin_41577592的博客
02-26 646
语义分割模型发展FCNFCN原理及结构训练过程SegNetUnetDeepLabRefineNetPSPNet基于全卷积的 GAN 语义分割模型 FCN FCN原理及结构 FCN 首先将一幅 RGB 图像输入到卷积神经网络后，经过多次卷积以及池化过程得到一系列的特征图，然后利用反卷积层对最后一个卷积层得到的特征图进行上采样，使得上采样后特征图与原图像的大小一样，从而实现对特征图上的每个像素值进行预测的同时保留其在原图像中的空间位置信息，最后对上采样特征图进行逐像素分类，逐个像素计算 softmax 分类损
图神经网络——简单图论与环境配置与PyG库
weixin_41577592的博客
06-16 409
@TOC #图结构数据 ##图的表示 定义一（图）：一个图被记为G={V,E}\mathcal{G}=\{\mathcal{V}, \mathcal{E}\}G={V,E}，其中 V={v1,…,vN}\mathcal{V}=\left\{v_{1}, \ldots, v_{N}\right\}V={v1​,…,vN​}是数量为N=∣V∣N=|\mathcal{V}|N=∣V∣ 的结点的集合， E={e1,…,eM}\mathcal{E}=\left\{e_{1}, \ldots, e_{M}\righ
消息传递图神经网络
weixin_41577592的博客
06-19 405
@[TOC]（消息传递图神经网络） 消息传递范式 最右图为消息传递范式 Pytorch Geometric(PyG)中的MessagePassing基类 它封装了“消息传递”的运行流程。通过继承MessagePassing基类，可以方便地构造消息传递图神经网络。 MessagePassing子类实例 GCNConv的数学定义为 xi(k)=∑j∈N(i)∪{i}1deg⁡(i)⋅deg⁡(j)⋅(Θ⋅xj(k−1)), \mathbf{x}_i^{(k)} = \sum_{j \in \mathcal
CV实践--语义分割4
weixin_41577592的博客
03-01 339
评价函数与损失函数TP TN FP FN评价指标Dice 评价指标IOU评价指标BCE 损失函数Focal LossLovász-Softmax TP TN FP FN TP(真正例 true positive) TN(真反例 true negative) FP(假正例 false positive) FN(假反例 false negative) Precision=TPTP+FPPrecision = \frac{TP}{TP+FP}Precision=TP+FPTP​ Recall=TPTP+FN
集成学习案例一 （幸福感预测）
weixin_41577592的博客
05-18 329
@TOC幸福感预测 #背景介绍 比赛的数据使用的是官方的《中国综合社会调查CGSS）》文件中的调查结果中的数据，其共包含有139个维度的特征，包括个体变量（性别、年龄、地域、职业、健康、婚姻与政治面貌等等）、家庭变量（父母、配偶、子女、家庭资本等等）、社会态度（公平、信用、公共服务）等特征。 #数据信息 赛题要求使用以上 139 维的特征，使用 8000 余组数据进行对于个人幸福感的预测（预测值为1，2，3，4，5，其中1代表幸福感最低，5代表幸福感最高）。 #评价指标 最终的评价指标为均方误差MSE，即：
西瓜书第五章拾遗
weixin_41577592的博客
07-25 320
西瓜书第五章拾遗神经网络的神经元模型![在这里插入图片描述](https://img-blog.csdnimg.cn/538de29d4cca4a3c835f3187a9d2fcc0.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTU3NzU5Mg==,size_16,color_FFFFFF,t_70)感知机与多层网络误差逆
基于图神经网络的异构图表示学习
最新发布
05-23
基于图神经网络的异构图表示学习可以分为两个步骤：异构图上的高阶信息聚合和异构图上的节点表征学习。 高阶信息聚合是指在异构图上进行多跳信息传递，得到每个节点的全局信息。该过程可以通过节点的邻居节点、共同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值