同构和异构经典图神经网络汇总+pytorch代码

最新推荐文章于 2025-01-22 17:30:33 发布
最新推荐文章于 2025-01-22 17:30:33 发布
阅读量3.5k 收藏 61
点赞数 7
分类专栏： pytorch 图神经网络GNN 文章标签： 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/circle2015/article/details/128004889
版权
本文汇总了关于图神经网络的优质资源，包括GCN、GAT、GraphSAGE的理论解析及代码实现，并介绍了异构图神经网络RGCN和HGT的概念及应用。提供了PyTorch相关的代码示例，帮助读者深入理解图神经网络在处理同构和异构图上的差异。同时，还分享了PyG的学习心得和安装指南。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

收集一些讲解比较好的博客或者知乎文档，以及对应的代码

1、同构图神经网络-GCN/GAT/GraphSAGE

2、异构图神经网络-RGCN/HGT

3、pytorch相关代码

建议下载好DBLP数据集后，合并下面的RGCN和HGT代码到一个项目里面进行效果对比

4、pytorch学习相关

图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
盼小辉丶的博客
01-02 11万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
详解【异质图卷积网络 RGCN】回顾：图神经网络问题的三大处理步骤 | 从起源说起，RGCN核心公式解释，两种降低模型参数量/优化的方式，附核心代码实现讲解
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
09-19 865
本篇，我们深入分析和学习RGCN的原理以及为何要这么做。首先让我们来回顾对于图神经网络问题的三大处理步骤，可以说，这是该深度学习模型的基本理解，后续都是在深化其中的细节处理。然后以容易理解的方式，引出异质图卷积网络RGCN的由来，主要讲解其核心公式和论文中作者所提出的两种降低模型参数量/优化的处理办法，并给出基础分解以及块对角分解的核心实现代码讲解。最后附上RGCN源代码及说明。
【基础知识】图神经网络 | 异构图神经网络建模方法(模型) | 元路径，静态元路径，动态元路径(方法) | 主流异构图模型有哪些？
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
01-22 146
图神经网络（Graph Neural Network，GNN）是一种用于处理图数据的机器学习模型。与传统的神经网络模型不同，GNN能够有效地对图结构数据进行建模和学习。在图神经网络中，每个节点被赋予一个特征向量，表示该节点的属性。模型通过学习节点之间的关系和连接来进行信息传播和特征更新。这种信息传播过程通常通过迭代的方式进行，每个节点会根据其周围节点的特征进行更新，从而逐步融合更广泛的上下文信息。图神经网络在社交网络分析、推荐系统、分子结构分析等领域具有广泛的应用。
图神经网络-图游走类模型 同构图 学习笔记
段智华的博客
02-12 457
图神经网络-图游走类模型学习笔记 目录 Node embeddings图游走类算法 Node embeddings 图游走类算法
异构图神经网络 RGCN、RGAT、HAN、GNN-FILM + PyG实现
yzsjwd的博客
08-11 1万+
RGCN、RGAT、GNN-FILM代码替换十分简单，训练代码完全不用动，只要改模型代码即可，完全可以三者都尝试效果，HAN慎用，效果太吃matapath的设置，训练时间还长，不值得。
代码库：DGL_异构图神经网络的基本框架
U got this
04-11 923
文章目录创建HGNN查看HGNN属性与编号节点（边）特征metapath根据metapath取子图HGNN 2 GNN消息传递 import torch as th import dgl Using backend: pytorch 创建HGNN graph_data = { ('a', 'B', 'b'): (th.tensor([0, 0]), th.tensor([1, 2])), ('b', 'C', 'b'): (th.tensor([1]), th.tensor([2]))
HGSL:图神经网络AAAI21-异构图结构学习的源代码-Source code learning
03-25
HGSL AAAI提交的源代码“图神经网络的异构图结构学习” 要求 Python包 Python> = 3.6.8 火炬> = 1.3.0 GPU内存要求 ACM> = 8G DBLP> = 5G Yelp> = 3G 用法 以DBLP数据集为例：python train.py --dataset ='dblp'
PyG处理异构图Heterogeneous Graph代码实现
CSDN 精品推荐
03-06 1137
异构图在图任务中非常常见，例如社交推荐图、论文引用图等，对于这类图使用传统的同构网络 `GCN`、`GAT` 是无法处理的，所以想要处理异构图 `Heterogeneous Graph` ，这里提供了几种实现策略，供小伙伴们参考：将同构网络模型转化为异构网络模型，将异构图转化为同构图，使用异构卷积包装器(Heterogenous Convolution Wrapper)搭建异构网络，使用异构卷积算子(Heterogenous Operators)搭建异构网络。
图神经网络实战（20）——时空图神经网络
盼小辉丶的博客
11-11 3573
本节介绍了具有时空信息的图数据。这种时空成分在许多应用中都很有帮助，主要与时间序列预测有关。我们介绍了两种符合这种定义的图：静态图(特征随时间变化)和动态图(特征和拓扑结构会发生变化)。PyTorch Geometric Temporal 是 PyTorch Geometric 的扩展，专门用于处理时空图神经网络。此外，我们实现了 EvolveGCN 架构，该架构使用 GRU 或 LSTM 网络更新 GCN 参数。应用此架构执行 Web 流量预测，并且在有限的数据集上取得了出色的结果。
图神经网络实战（8）——图注意力网络(Graph Attention Networks, GAT)
盼小辉丶的博客
04-22 9245
图注意力网络 (Graph Attention Networks, GAT) 是对图卷积网络 (Graph Convolutional Network, GCN) 的改进，提出了一种通过自注意力 (self-attention) 过程计算的加权因子，而不是使用静态的归一化系数。在本节中，我们介绍了 GAT 架构。通过从线性变换到多头注意力的四个主要步骤，了解了 GAT 的工作原理，并在 NumPy 中从零开始构建了 GAT 层。最后，将 GAT 模型应用于 Cora 和 CiteSeer 数据集。
【图神经网络综述】GNN原理＋落地应用+实现框架全解
热门推荐
cv君的博客
08-06 3万+
【2020 图神经网络综述】A Comprehensive Survey on Graph Neural Networks 文章转载于好我的朋友：大家可以关注他的博客： Memory逆光 博客地址：https://blog.csdn.net/weixin_44936889/article/details/107764037 未经作者允许，本文禁止转载 1. 摘要： 2. 简介： 2.1 为什么要用图表示数据： 2.2 GNN与network embedding： 2.3 GNN与Gra
SELAR:PyTorch正式实施“具有异构图元路径的自我监督辅助学习”。 NeurIPS 2020年
05-02
异构图元路径的自我监督辅助学习 该存储库是的实现。 黄达索（Dasol Hwang） * ，金永公园（Jinyoung Park） * ，孙永权，金敬敏，河正宇，金贤宇（Jyun-woo J.Kim），具有异构图元路径的自我监督辅助学习，神经信息处理系统的高级（NeurIPS 2020） 。 数据预处理 我们使用和数据集进行链接预测。 从此下载meta-paths标签（ meta_labels/ ）。 data/music/ ratings_final.npy ：由KGNN-LS发布预处理评价文件; kg_final.npy ：知识图文件； meta_labels/ pos_meta{}_{}.pickle ：辅助任务的元路径肯定标签 neg_meta{}_{}.pickle ：辅助任务的元路径否定标签 data/book/ ratings_final.npy ：由Ripple
图神经网络构建代码
03-04
# GPF ## 一、GPF（Graph Processing Flow）：利用图神经网络处理问题的一般化流程 1、图节点预表示：利用NE框架，直接获得全图每个节点的Embedding; 2、正负样本采样：（1）单节点样本；（2）节点对样本； 3、抽取封闭子图：可做类化处理，建立一种通用图数据结构; 4、子图特征融合：预表示、节点特征、全局特征、边特征; 5、网络配置：可以是图输入、图输出的网络；也可以是图输入，分类/聚类结果输出的网络; 6、训练和测试; ## 二、主要文件： 1、graph.py：读入图数据; 2、embeddings.py：预表示学习; 3、sample.py：采样; 4、subgraphs.py/s2vGraph.py：抽取子图; 5、batchgraph.py：子图特征融合; 6、classifier.py：网络配置; 7、parameters.py/until.py:参数配置/帮助文件; ## 三、使用 1、在parameters.py中配置相关参数（可默认）； 2、在example/文件夹中运行相应的案例文件--包括链接预测、节点状态预测； 以链接预测为例： ### 1、导入配置参数 ```from parameters import parser, cmd_embed, cmd_opt``` ### 2、参数转换 ``` args = parser.parse_args() args.cuda = not args.noCuda and torch.cuda.is_available() torch.manual_seed(args.seed) if args.cuda: torch.cuda.manual_seed(args.seed) if args.hop != 'auto': args.hop = int(args.hop) if args.maxNodesPerHop is not None: args.maxNodesPerHop = int(args.maxNodesPerHop) ``` ### 3、读取数据 ``` g = graph.Graph() g.read_edgelist(filename=args.dataName, weighted=args.weighted, directed=args.directed) g.read_node_status(filename=args.labelName) ``` ### 4、获取全图节点的Embedding ``` embed_args = cmd_embed.parse_args() embeddings = embeddings.learn_embeddings(g, embed_args) node_information = embeddings #print node_information ``` ### 5、正负节点采样 ``` train, train_status, test, test_status = sample.sample_single(g, args.testRatio, max_train_num=args.maxTrainNum) ``` ### 6、抽取节点对的封闭子图 ``` net = until.nxG_to_mat(g) #print net train_graphs, test_graphs, max_n_label = subgraphs.singleSubgraphs(net, train, train_status, test, test_status, args.hop, args.maxNodesPerHop, node_information) print('# train: %d, # test: %d' % (len(train_graphs), len(test_graphs))) ``` ### 7、加载网络模型，并在classifier中配置相关参数 ``` cmd_args = cmd_opt.parse_args() cmd_args.feat_dim = max_n_label + 1 cmd_args.attr_dim = node_information.shape[1] cmd_args.latent_dim = [int(x) for x in cmd_args.latent_dim.split('-')] if len(cmd_args.latent_dim) == 1: cmd_args.latent_dim = cmd_args.latent_dim[0] model = classifier.Classifier(cmd_args) optimizer = optim.Adam(model.parameters(), lr=args.learningRate) ``` ### 8、训练和测试 ``` train_idxes = list(range(len(train_graphs))) best_loss = None for epoch in range(args.num_epochs): random.shuffle(train_idxes) model.train() avg_loss = loop_dataset(train_graphs, model, train_idxes, cmd_args.batch_size, optimizer=optimizer) print('\033[92maverage training of epoch %d: loss %.5f acc %.5f auc %.5f\033[0m' % (epoch, avg_loss[0], avg_loss[1], avg_loss[2])) model.eval() test_loss = loop_dataset(test_graphs, model, list(range(len(test_graphs))), cmd_args.batch_size) print('\033[93maverage test of epoch %d: loss %.5f acc %.5f auc %.5f\033[0m' % (epoch, test_loss[0], test_loss[1], test_loss[2])) ``` ### 9、运行结果 ``` average test of epoch 0: loss 0.62392 acc 0.71462 auc 0.72314 loss: 0.51711 acc: 0.80000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 10.09batch/s] average training of epoch 1: loss 0.54414 acc 0.76895 auc 0.77751 loss: 0.37699 acc: 0.79167: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 34.07batch/s] average test of epoch 1: loss 0.51981 acc 0.78538 auc 0.79709 loss: 0.43700 acc: 0.84000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.64batch/s] average training of epoch 2: loss 0.49896 acc 0.79184 auc 0.82246 loss: 0.63594 acc: 0.66667: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 2: loss 0.48979 acc 0.79481 auc 0.83416 loss: 0.57502 acc: 0.76000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.70batch/s] average training of epoch 3: loss 0.50005 acc 0.77447 auc 0.79622 loss: 0.38903 acc: 0.75000: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 34.03batch/s] average test of epoch 3: loss 0.41463 acc 0.81132 auc 0.86523 loss: 0.54336 acc: 0.76000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.57batch/s] average training of epoch 4: loss 0.44815 acc 0.81711 auc 0.84530 loss: 0.44784 acc: 0.70833: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 4: loss 0.48319 acc 0.81368 auc 0.84454 loss: 0.36999 acc: 0.88000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 10.17batch/s] average training of epoch 5: loss 0.39647 acc 0.84184 auc 0.89236 loss: 0.15548 acc: 0.95833: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 5: loss 0.30881 acc 0.89623 auc 0.95132 ```
3.知识图谱业务落地技术推荐之图神经网络算法库&图计算框架汇总
丨汀、的博客
02-13 1182
结合PaddlePaddle深度学习框架，我们的框架基本能够覆盖大部分的图网络应用，包括图表示学习以及图神经网络。与目前的图深度学习库 PyTorch Geometric（PyG）和 Deep Graph Library（DGL）相比，虽然 PyG 和 DGL 支持基本的图深度学习操作，但 DIG 为更高层次的、面向研究的图深度学习任务提供了一个统一的测试平台，如graph generation，self-supervised learning,，explainability 以及 3D graphs。
异构图神经网络代码详解与实战
qq_52053775的博客
05-11 339
定义异构图需要定义点和边，点有两组类型，user和movie,user类型的点只有id，后续需要经过编码得到特征，而movie点的特征为movie题材得到的one hot编码，user和movie通过评分（边）连接起来。然后，我们将整个图划分为训练集、测试集与验证集。需要注意的是，在数据集很大的情况下（如淘宝），整个图将会很大，处理这样的图需要很多的资源，因此，我们往往采样子图进行训练。# following PyG semantics:构建边,从user到movieprint()
异构图神经网络——Heterogeneous Graph Neural Networks
qq_52053775的博客
05-08 1549
GNN基本计算方法——邻接矩阵乘以节点，聚合相邻节点的特征，得到本节点的特征表达。
使用 PyTorch Geometric 和 GCTConv实现异构图、二部图上的节点分类或者链路预测
刘文凯的博客
04-15 2043
定义异构图的元数据字典 meta_dict，其中 ‘n1’ 和 ‘n2’ 分别表示两种节点类型，而 (‘n1’, ‘e1’, ‘n2’) 表示从类型 ‘n1’ 的节点到类型 ‘n2’ 的节点有一条边，这条边的索引和权重分别为 edge_index_e1 和 edge_weight_e1。edge_index_e2=torch.flip(edge_index_e1, (0,)) 创建逆向的边，由于是二部图无向图所以需要。定义异构元数据列表 meta_list，其中包含所有节点类型和边类型的名称信息。
PyG处理异构图（Heterogeneous Graph）代码实现
PlHtml的博客
09-21 277
在上述代码中，我们定义了一个名为HeteroMessagePassing的子类，继承自MessagePassing。在处理异构图时，我们需要考虑节点和边的类型，并且能够有效地对其进行建模和分析。在本文中，我们将介绍如何使用PyG来处理异构图，并提供相应的源代码。在上述代码中，我们创建了一个HeteroMessagePassing对象，并将节点特征、边索引和边类型作为输入参数传递给forward函数。通过定义消息传递函数并使用PyG提供的工具和模块，我们可以方便地处理和分析异构图数据。希望本文对你有所帮助！
【图神经网络】Pytorch图神经网络库——PyG异构图学习
小哲的博客
12-25 3392
异构图具有不同类型的信息附加到节点和边上。因此，由于类型和维数的差异，单个节点或边特征张量不能包含整个图的所有节点或边特征。相反，需要为节点和边分别指定一组类型，每个类型都有自己的数据张量。由于数据结构的不同，消息传递公式也随之改变，允许以节点或边类型为条件计算消息和更新函数。作为一个示例，我们从OGB数据集看一下异构网络: 给定的异构图有1,939,743个节点，节点类型分为作者、论文、机构和研究领域四种。它还有21,111,007条边，属于以下四种类型之一:这个图的任务是根据图中存储的信息推断出每一篇
配置大模型同时使用cpu和gpu
最新发布
02-12
### 配置大模型以同时利用CPU和GPU进行计算 #### TensorFlow混合精度训练设置 为了使大规模机器学习模型能够充分利用硬件资源，在TensorFlow中可以通过设定策略来实现CPU与GPU间的协同工作。对于现代版本的TensorFlow而言，支持自动选择设备完成特定操作，并允许开发者通过`tf.distribute.MirroredStrategy()`轻松构建多GPU环境下的分布式训练方案[^1]。 当涉及到既使用CPU又调用GPU的情况时，一种常见做法是在程序启动初期定义逻辑设备命名规则以及显式指派某些层或节点到指定位置上运行： ```python import tensorflow as tf # 创建一个跨多个GPU的分布策略对象 strategy = tf.distribute.MirroredStrategy() with strategy.scope(): # 构建模型结构 model = ... # 编译模型 optimizer = tf.keras.optimizers.Adam() loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True) model.compile(optimizer=optimizer, loss=loss_fn) ``` 上述代码片段展示了如何创建一个能够在单机内所有可用GPU之间共享负载的工作流；然而，如果希望进一步引入CPU参与其中，则需考虑更为复杂的任务划分方式，比如让部分预处理步骤或者轻量级推理环节交由CPU负责，而密集型数值运算留给GPU处理。 #### PyTorch CPU-GPU协作模式 PyTorch提供了灵活的数据并行机制——DataParallel类，它可以在不改变原有网络定义的前提下快速开启多卡加速功能。不过值得注意的是，默认情况下该方法仅适用于同构设备间（即全部为相同类型的GPU）。要达成异构平台上的联合部署效果，通常建议采用更加细粒度的手动控制手段，像下面这样： ```python import torch from torch import nn device_ids = [] # 定义使用的设备列表，可包含'cuda:x'(x表示第几张显卡) 和 'cpu' if torch.cuda.is_available(): device_ids += ['cuda:%d'%i for i in range(torch.cuda.device_count())] class MyModel(nn.Module): def __init__(self): super(MyModel,self).__init__() self.cpu_part = ... # 将一些组件放在CPU上 self.gpu_parts = [...] # 其他重要模块则放置于GPU def forward(self,x): x = self.cpu_part(x.to('cpu')) # 显式转换输入张量至对应设备 results = [] for part,gpu_id in zip(self.gpu_parts,device_ids): with torch.cuda.device(gpu_id): # 切换当前默认CUDA设备 y = part(x).to('cpu') # 执行完后再转回主机内存以便后续汇总 results.append(y) final_output = sum(results)/len(results)# 对各分支输出求平均作为最终预测值 return final_output net = DataParallel(MyModel(),device_ids=device_ids) ``` 这段脚本说明了怎样自定义神经网络类，使得一部分构件始终驻留在中央处理器之上运作，其余关键路径被分发给不同图形芯片独立承担，从而达到最佳性能平衡状态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值