（转载）GNN教程：开山之作GCN代码理解（DGL框架）

最新推荐文章于 2024-05-17 12:20:25 发布
最新推荐文章于 2024-05-17 12:20:25 发布
阅读量1.3k 收藏 9
点赞数 1
文章标签： python
原文链接：https://blog.csdn.net/lj2048/article/details/112665556
版权

大纲

本文为GNN教程的第七篇文章【使用DGL框架实现GCN算法】。图神经网络的计算模式大致相似，节点的Embedding需要汇聚其邻接节点Embedding以更新，从线性代数的角度来看，这就是邻接矩阵和特征矩阵相乘。然而邻接矩阵通常都会很大，因此另一种计算方法是将邻居的Embedding传递到当前节点上，再进行更新。很多图并行框架都采用详细传递的机制进行运算(比如Google的Pregel)。而图神经网络框架DGL也采用了这样的思路。

从本篇博文开始，我们使用DGL做一个系统的介绍，我们主要关注他的设计，尤其是应对大规模图计算的设计。这篇文章将会介绍DGL的核心概念 — 消息传递机制，并且使用DGL框架实现GCN算法。图片

DGL 核心 — 消息传递

DGL 的核心为消息传递机制（message passing），主要分为消息函数 （message function）和汇聚函数（reduce function）。如下图所示：

图片

  • 消息函数（message function）：传递消息的目的是将节点计算时需要的信息传递给它，因此对每条边来说，每个源节点将会将自身的Embedding（e.src.data）和边的Embedding(edge.data)传递到目的节点；对于每个目的节点来说，它可能会受到多个源节点传过来的消息，它会将这些消息存储在"邮箱"中。（gcn_msg：就是将边消息和邻居消息h传到中心节点，存到中心节点的邮箱mailbox中,记做m）

  • 汇聚函数（reduce function）：汇聚函数的目的是根据邻居传过来的消息更新跟新自身节点Embedding，对每个节点来说，它先从邮箱（v.mailbox['m']）中汇聚消息函数所传递过来的消息（message），并清空邮箱（v.mailbox['m']）内消息（gcn_reduce：每个节点从邮箱中汇聚所有传过来的信息m，并清空，记做h）；然后该节点结合汇聚后的结果和该节点原Embedding，更新节点Embedding（需要做个线性变换NodeApplyModule，并且在线性变换的基础上加上自身信息来更新节点表示GCN：update_all+apply_nodes）。

下面我们以GCN的算法为例，详细说明消息传递的机制是如何work的。

用消息传递的方式实现GCN

GCN 的线性代数表达

GCN 的逐层传播公式如下所示：

简而言之：每个节点拿到邻居节点信息汇聚到自身 embedding 上在进行一次变换。具体 GCN 内容介绍可参考之前的文章

从消息传递的角度分析

上面的数学描述可以利用消息传递的机制实现为：

具体实现

step 1，引入相关包

import dgl
import torch as th
import torch.nn as nn
import dgl.function as fn
import torch.nn.functional as F
from dgl import DGLGraph
import networkx as nx

step 2，需要定义 GCN 的 message 函数和 reduce 函数

 message 函数用于发送节点的Embedding，reduce 函数用来对收到的 Embedding 进行聚合。在这里，每个节点发送Embedding的时候不需要任何处理，所以可以通过内置的copy_scr实现，out='m'表示发送到目的节点后目的节点的mailbox用m来标识这个消息是源节点的Embedding。

目的节点的reduce函数很简单，因为按照GCN的数学定义，邻接矩阵和特征矩阵相乘，以为这更新后的特征矩阵的每一行是原特征矩阵某几行相加的形式，"某几行"是由邻接矩阵选定的，即对应节点的邻居所在的行。因此目的节点reduce只需要通过sum将接受到的信息相加就可以了。

#需要定义GCN的 message函数和reduce函数
#message 函数用于发送节点的Embedding，reduce 函数用来对收到的 Embedding 进行聚合
#传递节点特征h的message
gcn_msg = fn.copy_src(src='h', out='m') #将节点表示为h作为信息发出
gcn_reduce = fn.sum(msg='m',out='h') #累和函数

'''
#对所有邻居节点特征hu进行平均，并使用它来覆盖原始节点特征
def reduce(nodes): #定义消息类和函数，对收到的消息进行平均
    accum = torch.mean(nodes.mailbox['m'],1)
    return {'h': accum}
'''

step 3，定义一个应用于节点的 node UDF(user defined function)

#定义一个应用于节点的 node UDF(user defined function)
#实际上是定义一个全连接层
#使用ReLU(whv + b) 更新节点特征hv
class NodeApplyModule(nn.Module):#对收到的消息应用线性变换和激活函数，将节点特征 hv 更新为ReLU(whv + b)
    def __init__(self,in_feats,out_feats,activation):
        super(NodeApplyModule,self).__init__()
        self.linear=nn.Linear(in_feats,out_feats)
        self.activation=activation #还没有指定是什么激活函数
        
    def forward(self,node):
        h = self.linear(node.data['h'])
        h = self.activation(h)
        return {'h' : h}  #返回更新后的节点特征 h(l+1)

 step4 ，定义GCN的Embedding更新层

以实现在所有节点上进行消息传递，并利用 NodeAppleModule 对节点的信息进行计算

#定义GCN的Enbedding更新层
#我们把所有的小模块串联起来成为 GCNLayer
#GCN实际上是对所有节点进行 消息传递/聚合/更新
class GCN(nn.Module):
    def __init__(self,in_feats,out_feats,activation):
        super(GCN,self).__init__()
        self.apply_mod = NodeApplyModule(in_feats, out_feats, activation)

    def forward(self,g,feature): 
        g.ndata['h'] = feature#使用h初始化节点特征
        g.update_all(gcn_msg,gcn_reduce)#使用update_all接口和自定义的消息传递及累和函数更新节点表示
        g.apply_nodes(func=self.apply_mod)# 更新节点特征
        return g.ndata.pop('h') #pop() 函数用于移除列表中的一个元素（默认最后一个元素），并且返回该元素的值

step 5 定义一个包含两个GCN层的图神经网络分类器

我们通过向分类器输入特征大小为1433的训练样本，以获得该样本所属的类别编号，类别总共包含7类。

#定义一个包含两个GCN层的图神经网络分类器
class Net(nn.Module):
    #初始化网络参数
    def __init__(self):
        super (Net,self).__init__()
        self.gcn1 = GCN(1433,16,F.relu) #第一层GCN
        self.gcn2 = GCN(16,7,F.relu)
    #前向传播
    def forward(self,g,features):
        x = self.gcn1(g,features)
        x = self.gcn2(g,x)
        return x
net = Net()
print(net)

step 6 加载 cora 数据集，并进行数据预处理

#使用DGL内置模块加载cora数据集，并进行数据预处理
from dgl.data import citation_graph as citegrh
def load_cora_data():
    data = citegrh.load_cora() #加载数据集
    features = th.FloatTensor(data.features) #特征向量，张量的形式
    labels = th.LongTensor(data.labels)#所属的类别
    train_mask = th.BoolTensor(data.train_mask)#训练数据集
    test_mask = th.BoolTensor(data.test_mask) #哪些是测试集
    g = data.graph #
    g.remove_edges_from(nx.selfloop_edges(g)) #删除自循环的边
    g = DGLGraph(g) #构造
    g.add_edge(g.nodes(), g.nodes()) #第一个是起始点，第二个终点
    return g,features,labels,train_mask,test_mask

step7 训练GCN神经网络

#训练GCN神经网络
import time
import numpy as np
g,features,labels,train_mask,test_mask = load_cora_data()
optimizer = th.optim.Adam(net.parameters(),lr=1e-3)
dur = []
for epoch in range(30):
    if epoch >=3:
        t0 = time.time()
        
    logits = net(g,features)
    logp = F.log_softmax(logits,) #用来计算输出和梯度
    loss = F.nll_loss(logp[train_mask], labels[train_mask])
    
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
    if epoch >= 3:
        dur.append(time.time() - t0)
        
    print("Epoch {:05d} | Loss {:.4f} | Time(s) {:.4f}".format(
        epoch,loss.item(),np.mean(dur)))

补充：增加一个评估函数

#定义评估函数
def evaluate(model,g,features,labels,mask):
    model.eval() #会通知所有图层，您处于评估模式
    with th.no_grad():
        logits = model(g,features)
        logits = logits[mask]
        labels = labels[mask]
        _, indices = th.max(logits,dim=1)
        correct = th.sum(indices == labels)
        return correct.item() * 1.0 /len(labels)

全部代码

import dgl
import torch as th
import torch.nn as nn
import dgl.function as fn
import torch.nn.functional as F
from dgl import DGLGraph
import torch
import networkx as nx

#需要定义GCN的 message函数和reduce函数
#message 函数用于发送节点的Embedding，reduce 函数用来对收到的 Embedding 进行聚合
#传递节点特征h的message
gcn_msg = fn.copy_src(src='h', out='m') #将节点表示为h作为信息发出
gcn_reduce = fn.sum(msg='m',out='h') #累和函数

'''
#对所有邻居节点特征hu进行平均，并使用它来覆盖原始节点特征
def reduce(nodes): #定义消息类和函数，对收到的消息进行平均
    accum = torch.mean(nodes.mailbox['m'],1)
    return {'h': accum}
'''
#定义一个应用于节点的 node UDF(user defined function)
#实际上是定义一个全连接层
#使用ReLU(whv + b) 更新节点特征hv
class NodeApplyModule(nn.Module):#对收到的消息应用线性变换和激活函数，将节点特征 hv 更新为ReLU(whv + b)
    def __init__(self,in_feats,out_feats,activation):
        super(NodeApplyModule,self).__init__()
        self.linear=nn.Linear(in_feats,out_feats)
        self.activation=activation #还没有指定是什么激活函数
        
    def forward(self,node):
        h = self.linear(node.data['h'])
        h = self.activation(h)
        return {'h' : h}  #返回更新后的节点特征 h(l+1)
    
#定义GCN的Enbedding更新层
#我们把所有的小模块串联起来成为 GCNLayer
#GCN实际上是对所有节点进行 消息传递/聚合/更新
class GCN(nn.Module):
    def __init__(self,in_feats,out_feats,activation):
        super(GCN,self).__init__()
        self.apply_mod = NodeApplyModule(in_feats, out_feats, activation)

    def forward(self,g,feature): 
        g.ndata['h'] = feature#使用h初始化节点特征
        g.update_all(gcn_msg,gcn_reduce)#使用update_all接口和自定义的消息传递及累和函数更新节点表示
        g.apply_nodes(func=self.apply_mod)# 更新节点特征
        return g.ndata.pop('h') #pop() 函数用于移除列表中的一个元素（默认最后一个元素），并且返回该元素的值
     
#定义一个包含两个GCN层的图神经网络分类器
class Net(nn.Module):
    #初始化网络参数
    def __init__(self):
        super (Net,self).__init__()
        self.gcn1 = GCN(1433,16,F.relu) #第一层GCN
        self.gcn2 = GCN(16,7,F.relu)
    #前向传播
    def forward(self,g,features):
        x = self.gcn1(g,features)
        x = self.gcn2(g,x)
        return x
net = Net()
print(net)

#使用DGL内置模块加载cora数据集，并进行数据预处理
from dgl.data import citation_graph as citegrh
def load_cora_data():
    data = citegrh.load_cora() #加载数据集
    features = th.FloatTensor(data.features) #特征向量，张量的形式
    labels = th.LongTensor(data.labels)#所属的类别
    train_mask = th.BoolTensor(data.train_mask)#训练数据集
    test_mask = th.BoolTensor(data.test_mask) #哪些是测试集
    g = data.graph #
    g.remove_edges_from(nx.selfloop_edges(g)) #删除自循环的边
    g = DGLGraph(g) #构造
    g.add_edge(g.nodes(), g.nodes()) #第一个是起始点，第二个终点
    return g,features,labels,train_mask,test_mask

g,features,labels,train_mask,test_mask = load_cora_data()

import matplotlib.pyplot as plt
nx.draw(g.to_networkx(),node_size=50,with_labels=True)
plt.show()

#定义评估函数
def evaluate(model,g,features,labels,mask):
    model.eval() #会通知所有图层，您处于评估模式
    with th.no_grad():
        logits = model(g,features)
        logits = logits[mask]
        labels = labels[mask]
        _, indices = th.max(logits,dim=1)
        correct = th.sum(indices == labels)
        return correct.item() * 1.0 /len(labels) 



#训练GCN神经网络
import time
import numpy as np
g,features,labels,train_mask,test_mask = load_cora_data()
optimizer = th.optim.Adam(net.parameters(),lr=1e-3)
dur = [] #时间
for epoch in range(30):
    if epoch >=3:
        t0 = time.time()
        
    logits = net(g,features)
    logp = F.log_softmax(logits,) #用来计算输出和梯度
    loss = F.nll_loss(logp[train_mask], labels[train_mask])
    
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    
    if epoch >= 3:
        dur.append(time.time() - t0)
    acc = evaluate(net,g,features,labels,test_mask)    
    print("Epoch {:05d} | Loss {:.4f} | Test Acc {:.4f}| Time(s) {:.4f}".format(
        epoch,loss.item(),acc,np.mean(dur)))

后话

本篇博文介绍了如何利用图神经网络框架DGL编写GCN模型，接下来我们会介绍如何利用DGL实现GraphSAGE中的采样机制，以减少运算规模。

weixin_43901260
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GNN:图卷积网络（GCN）教程
05-12
本教程将深入讲解GCN的基本原理、实现细节以及如何利用它们解决实际问题。 一、图卷积网络的基本概念 1. 图数据：图是由节点（vertices）和边（edges）组成的非欧几里得数据结构。每个节点可以携带特征向量，边则...
DGL系列之(二)：使用DGL实现GCN
just_so_so_fnc的博客
03-10 4919
import dgl import dgl.function as fn import torch as th import torch.nn as nn import torch.nn.functional as F from dgl import DGLGraph gcn_msg=fn.copy_src(src="h",out="m") gcn_reduce=fn.sum(msg="m",...
GNN教程：图神经网络基础知识！
Datawhale
11-10 1492
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：秦州，阿里巴巴，Datawhale成员系列规划本文为GNN...
GCNGCNGCN牛轰轰
最新发布
MusicDancing的博客
05-17 899
想把你密码想念你们
GNN教程：开山之作GCN理解(自身和邻居节点Embedding聚合再进行非线性变换最后更新）
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-15 4006
转载 目录 大纲 1. 问题定义 2. 图上的快速卷积近似 谱图卷积 逐层线性模型 3. 半监督学习节点分类 传播公式解释 后话 参考文献 本文为GNN教程的第二篇文章 【GCN介绍】，取自Kipf et al. 2017，文章中提出的模型叫Graph Convolutional Network(GCN)，个人认为可以看作是图神经网络的“开山之作”，因为GCN利用了近似的技巧推导出了一个简单而高效的模型，使得图像处理中的卷积操作能够简单得被用到图结构数据处理中来，后面各种图神经网络层出
DGL官方教程二——使用DGL进行批量图分类
weixin_43153762的博客
06-11 8798
enumerate的用法：https://blog.csdn.net/liu_xzhen/article/details/79564455 map函数 zip（） zip（*）：https://blog.csdn.net/qq_42707449/article/details/81122741 .pop(): https://www.cnblogs.com/foremostxl/p/9365...
GNN开山作
qq_37394299的博客
12-16 236
Spectral Networks and Deep Locally Connected Networks on Graphs Summary 分别从空域和频域角度在图上通过神经网络的方式建模,并在mnist数据集上验证了两种建模方式的可行性. Research Objective 使神经网络能够应用于包括图像等更为广阔的领域,例如社交网络,分子原子等 Problem Statement 传统...
DGL简单示例，GCN，GAT
03-08
在本压缩包中，我们关注的是图神经网络（GNN）相关的学习资源，特别是DGL（Dynamic Graph ...通过阅读文档、查看示例代码并运行实验，用户可以深入理解GNN的工作原理，并掌握如何使用DGL构建和应用GCN和GAT模型。
gnn_framework:GNN的C ++框架
04-10
混合GNN训练框架 安装 要求 C ++ 14 CUDA> = 11.0 联合会 古巴 CUSPARSE 梅蒂斯 从源代码构建 做配置python configure.py 构建全部-j 如何使用 数据集 混合GNN训练框架在COO表示中使用图形数据集。 您可以使用...
图神经网络 GNN、GCN经典数据集包 Cora数据集
10-20
Cora数据集是这类模型的经典研究对象，用于节点分类任务，帮助我们理解和评估GNN和GCN的性能。 Cora数据集是一个引文网络，由2708个科研论文节点组成，这些节点之间通过引用来建立连接，形成一个图。每个节点都有一...
GNN之SimGNN源代码（可直接运行）（CCF-B）
01-15
GNN之SimGNN论文源代码（可直接运行）（CCF-B）《SimGNN: A Neural Network Approach to Fast Graph Similarity Computation》
图神经网络教程之GCN(pyG)
weixin_45822638的博客
09-02 842
图神经网络的入门介绍之pyG包下的GCN的使用
图神经网络之三：节点表征学习（未完待续）
博客小主
06-24 1317
图神经网络之节点表征学习
DGL官方教程--DGL图和节点/边的特征
weixin_45613751的博客
01-29 1万+
Note: Click here to download the full example code DGLGraph and Node/edge Features Author: Minjie Wang, Quan Gan, Yu Gai, Zheng Zhang 在本教程中，您将学习如何创建图形以及如何读写节点和边以及他们的表示。 Creating a graph DGLGraph的设计受...
图机器学习——5.5 广义 GNN 框架：消息传递与聚合
Kanny
05-23 2970
5. 广义视角下的 GNN 框架 GNN 层的本质为：消息（Message） + 聚合（Aggregation）。在这一视角下的有许多不同的实例：GCN，GraphSAGE，GAT等，下面我们将着重讲解这三个不同的实例。 GNN 的总体框架分别包括：1）消息 与 2）聚合，也就是一个网络层中的操作。 3）层与层之间的连接 4）图增广（Graph augmentation） 与 5）学习目标（Learning Object） 下面我们一部分一部分进行分析。 1）消息（Message） 图网络中的
【深度学习】GCN的dgl官方代码解读
逍遥鱼的博客
05-01 1938
gcn官方dgl库实现，记录个人理解
GCN-图卷积神经网络算法讲解（通俗版）
热门推荐
weixin_50706330的博客
10-24 3万+
GCN-图卷积神经网络算法讲解（通俗版）
图卷积神经网络GCN的一些理解以及DGL代码实例的一些讲解
学习笔记
06-30 2375
近些年图神经网络十分火热，因为图数据结构其实在我们的现实生活中更常见，例如分子结构、人的社交关系、语言结构等等。NLP中的句法树、依存树就是一种特殊的图，因此，图神经网络的学习也是必不可少的。GCN是图卷积神经网络，初期研究者为了从数学上严谨的推导该公式是有效的，所以会涉及到诸如傅里叶变换，拉普拉斯算子的知识，但是对于我们使用者而言，并不需要会证明GCN最终能收敛等等知识，能够懂大概原理和计算方式就差不多了吧… 下面介绍GCN原文中的一些关键点。 其中 H(l) 是值输入的特征 H(l+1) 是指更新后输出
Graph Neural Networks—GCN、GraphSAGE、GAT
I‘m Frank Lee
04-19 2532
GCN（1stChebNet）与GraphSage的不同： GCN需要将整个图（邻接矩阵）输入进去，GraphSage不用输入整个图的拓扑结构，可以批量处理； GCN是直推式的方法，GraphSage是归纳式的方法，可以处理unseen node； GCN聚合了每个邻居的信息，GraphSage采样固定数量的邻居； GCN的输入有节点编号列表、节点特征、邻接矩阵，而GraphSage的输入包括三个部分，节点编号列表、每个节点的邻居列表、节点的特征表示矩阵； GCN表面看起来是谱域方法，其实也是一种空域方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值