图神经网络学习

已于 2023-04-20 17:01:18 修改
阅读量107 收藏
点赞数
文章标签： 神经网络 学习 深度学习
于 2023-04-03 17:17:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51966222/article/details/129933916
版权
文章探讨了在机器学习中如何利用图结构与神经网络兼容，强调了节点、边和全局信息的重要性。对于无节点向量但有边向量的情况，通过汇聚操作进行节点预测。反之，若无边向量但有节点信息，则用于边的预测。图神经网络（GNN）、图卷积网络（GCN）和图自动编码器等技术被提及用于图的处理。此外，文章还讨论了Softmax层、ReLU激活函数以及学习率等优化参数在模型训练中的作用。
摘要由CSDN通过智能技术生成

1.机器学习中使用图(graph)的挑战
首先要考虑的问题是，如何将表示图(graph)才能让其与神经网络兼容。图的四种属性是非常重要的：节点(nodes)，边(edges)，全局信息(global-context)，连接性(connectivity)。前三者只要各自采用特征向量的形式就可以与神经网络相兼容了

请添加图片描述
如何做预测
以对节点信息进行“二分类”任务为例，将最后一层GNN Layer输出的图中的节点向量传入全连接层，经过全连接层即可输出每个节点的预测结果。

    但是，有一种特殊情况是节点没有向量信息，但是边都具有向量信息，如果仍然要对节点做预测，就要采用一种称为“汇聚”(pooling)的技术。pooling操作首先将与该节点相连接的边向量取出，另外还要取全局图向量，然后对这些向量进行sum操作得到一个新的向量，这个向量作为这个节点的向量信息。注意，这里我们默认节点、边、全局图向量的维度都是相同的，所以可直接进行sum操作，若不相同，需要先投影变换到节点向量的维度。其实从这一步就可以发现，全局向量类似于一个偏置项。

同理，对于有节点信息但没有边信息的图，若要进行边的预测，也是先进行pooling操作，即对边的两个节点向量、全局图向量进行sum操作，即得到该边的向量；对于没有全局图向量的情况，对所有的节点向量进行pooling操作即可得到全局图向量。
请添加图片描述

图神经网络请添加图片描述
图嵌入算法：矩阵分解，随机游走，深度学习（基于图自动编码器DNGR，SDNE，，图卷积神经网络）

图卷积网络（FCN）基于谱，基于空间
图注意力机制
图自动编码器
图生成网络
图时空网络

目标函数是什么
Softmax层
Relu激活函数：
学习步长
学习率lr
动量
Adam调整各个参数学习率.SGD学习

在这里插入图片描述

在这里插入图片描述

小坏蛋Chris
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图学习笔记（三）：图神经网络
Wangzx的博客
01-27 8065
图学习笔记（三）：图与图学习回顾六. 图神经网络（Graph Neural Networks）一、 什么是图神经网络二、 有哪些图神经网络符号定义1. 图卷积网络（Graph Convolution Networks，GCNs）2. 图注意力网络（Graph Attention Networks）2.1 图注意力网络（Graph Attention Network，GAT）2.2 门控注意力网络（Gated Attention Network，GAAN）2.3 图形注意力模型（Graph Attention
图神经网络学习路线数理1
08-03
图神经网络（GNN）是深度学习领域中的一个重要分支，它专门用于处理图结构数据。这一概念最早在2005年由学者们提出，并在2009年得到了理论基础的构建，由Franco Scarselli博士在论文《The graph neural network ...
图神经网络基础--基于图神经网络的图表征学习方法
发呆的比目鱼的博客
09-27 344
基于图神经网络的图表征学习方法
图神经网络从入门到入门
zandaoguang的博客
05-14 783
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨yyHaker来源丨https://zhuanlan.zhihu.com/p/136521625编...
图神经网络学习总结
to222的博客
07-10 399
总结： 1、学习了基本图论知识、了解了pyg包 2、学习了图的消息传递原理，并通过继承MessagePassing基类来构造自己的图神经网络类 3、学习实现多层图神经网络的方法，并以节点分类任务为例，学习训练图神经网络的一般过程。以PubMed数据集为例子，对MLP和GCN, GAT（两个知名度很高的图神经网络）三类神经网络在节点分类任务中的表现进行比较分析，以此来展现图神经网络的强大和论证图神经网络强于普通深度神经网络的原因。 4、使用pyg中不同的卷积层、不同层数、每层不同的神经元对节点进行预测 5、学
【图神经网络】图神经网络(GNN)学习笔记：神经网络基础
小哲的博客
01-19 1535
@TOC 图神经网络就是将图数据和神经网络进行结合，在图数据上面进行端对端的计算。 1. 机器学习基本概念 1.1 机器学习的常见分类 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习有以下几种常见的分类方法： 根据训练数据是否有标签可分为： 监督学习：训练数据中每个样本都有标签，通过标签指导模型进行训练 无监督学习：训练数据完全没有标签，算法从数据中发现约束关系，如数据之间的关联等，典型的无监督算法有如聚类算法 半监督学习：训练数据又有有标签数据，又
图神经网络学习资料、ppt
05-07
入门图神经网络的好资源,了解GNN的基本原理,训练方法,以及其各种变体的应用。通俗易懂，讲解全面。入门图神经网络的好资源,了解GNN的基本原理,训练方法,以及其各种变体的应用。通俗易懂，讲解全面。
暑期图神经网络学习内容1
08-03
暑期图神经网络学习内容涵盖了从理论基础到实践应用的多个方面。 首先，学习内容的基础部分是从《Graph Theory With Applications》这本书开始的，这是一本经典的图论教材。图论是研究点和边构成的图形结构及其性质...
图神经网络学习资料、ppt、论文
05-08
图神经网络（Graph Neural Networks, GNN）是深度学习领域中的一个重要分支，它专注于处理非欧几里得数据，如社交网络、化学分子结构、交通网络等。GNN的出现使得机器学习技术能够有效地应用于复杂关系数据，为解决...
图神经网络学习资料、ppt、论文（全）
05-08
入门图神经网络的好资源,了解GNN的基本原理,训练方法,以及其各种变体的应用。里面包含了清华总结的大部分论文资料，通俗易懂，讲解全面。总有适合你的。
图神经网络（Graph Neural Networks）
04-26
图神经网络无疑是现在最火的AI技术之一，在本文中，全面详细地介绍了GNN的背景动机、GCN、循环关系网络、通用网络。
图神经网络 - 南洋理工大学 - lecture14_graph_neural_networks.zip
10-30
图神经网络，来自于南洋理工大学计算机学院Xavier Bresson教授的演讲稿，欢迎大家下载学习。
一份简单的《图神经网络》教程
08-03
以下附上一份简单《图神经网络》的教程，共计28页ppt。其主要包括图卷积网络（Graph Convolutional Networks）、图采样方法（Graph Sampling Methods）与基于PyTorch的实现与应用（Application and PyTorch Implementation）三个核心部分。欢迎感兴趣的朋友下载学习。
图神经网络构建代码
03-04
# GPF ## 一、GPF（Graph Processing Flow）：利用图神经网络处理问题的一般化流程 1、图节点预表示：利用NE框架，直接获得全图每个节点的Embedding; 2、正负样本采样：（1）单节点样本；（2）节点对样本； 3、抽取封闭子图：可做类化处理，建立一种通用图数据结构; 4、子图特征融合：预表示、节点特征、全局特征、边特征; 5、网络配置：可以是图输入、图输出的网络；也可以是图输入，分类/聚类结果输出的网络; 6、训练和测试; ## 二、主要文件： 1、graph.py：读入图数据; 2、embeddings.py：预表示学习; 3、sample.py：采样; 4、subgraphs.py/s2vGraph.py：抽取子图; 5、batchgraph.py：子图特征融合; 6、classifier.py：网络配置; 7、parameters.py/until.py:参数配置/帮助文件; ## 三、使用 1、在parameters.py中配置相关参数（可默认）； 2、在example/文件夹中运行相应的案例文件--包括链接预测、节点状态预测； 以链接预测为例： ### 1、导入配置参数 ```from parameters import parser, cmd_embed, cmd_opt``` ### 2、参数转换 ``` args = parser.parse_args() args.cuda = not args.noCuda and torch.cuda.is_available() torch.manual_seed(args.seed) if args.cuda: torch.cuda.manual_seed(args.seed) if args.hop != 'auto': args.hop = int(args.hop) if args.maxNodesPerHop is not None: args.maxNodesPerHop = int(args.maxNodesPerHop) ``` ### 3、读取数据 ``` g = graph.Graph() g.read_edgelist(filename=args.dataName, weighted=args.weighted, directed=args.directed) g.read_node_status(filename=args.labelName) ``` ### 4、获取全图节点的Embedding ``` embed_args = cmd_embed.parse_args() embeddings = embeddings.learn_embeddings(g, embed_args) node_information = embeddings #print node_information ``` ### 5、正负节点采样 ``` train, train_status, test, test_status = sample.sample_single(g, args.testRatio, max_train_num=args.maxTrainNum) ``` ### 6、抽取节点对的封闭子图 ``` net = until.nxG_to_mat(g) #print net train_graphs, test_graphs, max_n_label = subgraphs.singleSubgraphs(net, train, train_status, test, test_status, args.hop, args.maxNodesPerHop, node_information) print('# train: %d, # test: %d' % (len(train_graphs), len(test_graphs))) ``` ### 7、加载网络模型，并在classifier中配置相关参数 ``` cmd_args = cmd_opt.parse_args() cmd_args.feat_dim = max_n_label + 1 cmd_args.attr_dim = node_information.shape[1] cmd_args.latent_dim = [int(x) for x in cmd_args.latent_dim.split('-')] if len(cmd_args.latent_dim) == 1: cmd_args.latent_dim = cmd_args.latent_dim[0] model = classifier.Classifier(cmd_args) optimizer = optim.Adam(model.parameters(), lr=args.learningRate) ``` ### 8、训练和测试 ``` train_idxes = list(range(len(train_graphs))) best_loss = None for epoch in range(args.num_epochs): random.shuffle(train_idxes) model.train() avg_loss = loop_dataset(train_graphs, model, train_idxes, cmd_args.batch_size, optimizer=optimizer) print('\033[92maverage training of epoch %d: loss %.5f acc %.5f auc %.5f\033[0m' % (epoch, avg_loss[0], avg_loss[1], avg_loss[2])) model.eval() test_loss = loop_dataset(test_graphs, model, list(range(len(test_graphs))), cmd_args.batch_size) print('\033[93maverage test of epoch %d: loss %.5f acc %.5f auc %.5f\033[0m' % (epoch, test_loss[0], test_loss[1], test_loss[2])) ``` ### 9、运行结果 ``` average test of epoch 0: loss 0.62392 acc 0.71462 auc 0.72314 loss: 0.51711 acc: 0.80000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 10.09batch/s] average training of epoch 1: loss 0.54414 acc 0.76895 auc 0.77751 loss: 0.37699 acc: 0.79167: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 34.07batch/s] average test of epoch 1: loss 0.51981 acc 0.78538 auc 0.79709 loss: 0.43700 acc: 0.84000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.64batch/s] average training of epoch 2: loss 0.49896 acc 0.79184 auc 0.82246 loss: 0.63594 acc: 0.66667: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 2: loss 0.48979 acc 0.79481 auc 0.83416 loss: 0.57502 acc: 0.76000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.70batch/s] average training of epoch 3: loss 0.50005 acc 0.77447 auc 0.79622 loss: 0.38903 acc: 0.75000: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 34.03batch/s] average test of epoch 3: loss 0.41463 acc 0.81132 auc 0.86523 loss: 0.54336 acc: 0.76000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 9.57batch/s] average training of epoch 4: loss 0.44815 acc 0.81711 auc 0.84530 loss: 0.44784 acc: 0.70833: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 4: loss 0.48319 acc 0.81368 auc 0.84454 loss: 0.36999 acc: 0.88000: 100%|███████████████████████████████████| 76/76 [00:07<00:00, 10.17batch/s] average training of epoch 5: loss 0.39647 acc 0.84184 auc 0.89236 loss: 0.15548 acc: 0.95833: 100%|█████████████████████████████████████| 9/9 [00:00<00:00, 28.62batch/s] average test of epoch 5: loss 0.30881 acc 0.89623 auc 0.95132 ```
cs224w 图神经网络 学习笔记（二）Properties of Networks and Random Graph Mode
08-04
【图神经网络学习笔记（二）——网络属性与随机图模型】 在图神经网络的研究中，理解网络的特性至关重要。本笔记将深入探讨如何衡量一个网络的属性，并介绍几种常用的图模型，包括真实网络案例的属性计算以及小世界...
图神经网络基础学习
Chris Blog
03-14 1038
注：本篇博客公式格式没有经过认真编辑，欢迎去我的博客：http://www.pinkman.tech/index.php/tech/2021/gnn-basic/ 或者知乎：https://zhuanlan.zhihu.com/p/356872702 获得更好的阅读体验。 本篇文章旨在通过最直白的语言解释一些GNN中的基础知识，涉及到的内容包括： GNN在现实中的应用 研究图问题的两个重要原则 GNN是如何学习的 GNN中信息如何传递？什么是卷积GNN，注意力GNN和信息传递GNN？ 关于GNN的一些.
图神经网络（GNN）入门学习笔记（直观且简单）
最新发布
hanmo22357的博客
07-29 1579
顶点集（V）：图中的所有顶点构成一个顶点集；边集（E）：图中的所有边构成一个边集；图整体（U）：完整考虑一个图的所有顶点和边以及对应的拓扑结构，图的整体被称为U。在计算机中，无论是顶点集、边集或者图整体都可以使用向量进行表示。顶点向量中的各个值表示顶点的属性；边向量中的各个值表示边的属性；图向量同理。另外，一张图也可以使用离散数学中的邻接矩阵进行表示，具体内容可以参见离散数学课程教材。
图神经网络学习心得
qq_33595043的博客
11-29 710
参加了百度图神经网络7日打卡训练营，学习了很多内容，重点分享一下百度研发出来的erniesage 算法
图神经网络学习：历史脉络与演进
在图神经网络学习的领域，2005年是这一概念的起点，当时的焦点主要集中在解决纯图论问题。2009年，图神经网络的理论基础由Franco博士在论文中正式定义，这标志着GNN作为一个独立的模型开始被学术界认可。早期的GNN...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值