图神经网络笔记(三)

最新推荐文章于 2024-04-12 12:22:10 发布
最新推荐文章于 2024-04-12 12:22:10 发布
阅读量611 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/h1997123/article/details/111211097
版权
本文主要探讨了图神经网络中图采样的必要性，由于节点间依赖导致的计算量爆炸问题，以及两种图采样算法——GraphSAGE和PinSAGE。GraphSAGE通过邻居采样和聚合来减少计算量，而PinSAGE利用随机游走选择频率高的节点作为虚拟邻居，有效获取远距离信息。
摘要由CSDN通过智能技术生成

图采样

一、为什么要图采样

在传统的深度学习中，单batch为若干个样本，且样本之间无依赖，多层样本计算量固定。
在这里插入图片描述
但是在图神经网络中，单batch为若干个节点，且节点之间相互依赖，多层节点计算量爆炸。（每层计算都要聚合当前节点的邻居节点信息，层数增加以后需要计算的节点回随着层数的增加呈指数趋势增长）
在这里插入图片描述

二、什么是图采样

对图进行子图采样而不是随机采样。
在这里插入图片描述
（一个节点的标识由它的邻居决定）

三、图采样算法详解

1.GraphSAGE

1）邻居采样
优点：
极大的减少训练计算量
允许泛化到新连接关系
2）邻居聚合
3）节点预测
Q：采样时只能选取真实id邻居节点吗？（不一定，可以模拟邻居

最低0.47元/天 解锁文章
堕甑不顾
关注
图学习笔记（七）：图神经网络算法（二）——图采样、邻居聚合
Wangzx的博客
02-01 2356
图学习笔记（七）：图神经网络算法（二）——图采样图采样1. 为什么要图采样？图采样的原因：MiniBatch训练2. 什么是图采样？3. 图采样算法详解（GraphSAGE、PinSAGE）GraphSAGE (SAmple & aggreGatE)邻居采样算法邻居采样算法的优点：PinSAGE：根据邻居节点重要性进行聚合的算法。 图采样 1. 为什么要图采样？ 图采样的原因： 如果图很大，需要进行“图采样”。 权图规模太大，当代的GPU/CPU资源受限，无法一次性全图送入计算资源（难以将整张图放
图卷积网络概述笔记
木木JL的博客
10-23 996
图卷积网络概述笔记谱方法空间方法 开一个博客把听的基础概念给记录下来，随笔瞎记呗 谱方法 不像图像中的卷积操作和空间方法，谱方法在谱域定义卷积操作，把图变换到谱域进行卷积之后再变换到图域。 给定无向图G=(V,E,W)，点集V（n=|V|)，边集E，权重集W∈Rn×nW \in R^{n \times n}W∈Rn×n，每个节点如果有d维特征，所有节点的特征矩阵就是X∈Rn×dX \in R^{n \times d}X∈Rn×d 图的拉普拉斯矩阵：L=D-W，D是度矩阵Dii=∑jWij\boldsymbo
图神经网络基础--超大图上的节点表征学习
发呆的比目鱼的博客
09-27 471
图神经网络基础--超大图上的节点表征学习
batch & print pro_图卷积网络(GCN) Mini-Batch技巧
weixin_39957265的博客
11-29 795
引言图卷积网络GCN取得了非常好的效果。对于小型图，可以全部加载到内存中，每层Layer的卷积操作都会遍历全图。对于中大型图，全部加载到内存的做法，显然不能满足需求。我们会使用mini-batch而不是全图来进行计算。下面将介绍三种目前常见的Batch技巧，分别来自GraphSage和ScalableGCN。1. GraphSage Batch技巧如上图所示，h0是模型inputs数据。3层图卷积...
神经网络训练中 Batch 的作用
琴歌声声送我的博客
04-12 1323
本文将详细探讨batch在神经网络训练中的作用，包括它如何影响梯度估计的准确性、训练的稳定性和效率，以及如何选择合适的batch size。它不仅影响梯度估计的准确性和训练的稳定性，还直接影响训练的效率和最终模型的性能。选择合适的batch size需要综合考虑数据集的大小、模型的复杂度、可用的计算资源以及训练的目标。选择合适的batch size是一个需要综合考虑多个因素的过程。选择合适的batch size是神经网络训练中的一个重要问题，因为它直接影响到模型的训练效果、训练速度以及资源的利用效率。
图神经网络——GraphSAGE
bobobe的专栏
11-02 2107
论文地址：http://papers.nips.cc/paper/6703-inductive-representation-learning-on-large-graphs.pdf 发表会议：NeurIPS2017 文章目录1. GraphSAGE和GCN2. GraphSAGE如何进行Inductive Learning 1. GraphSAGE和GCN GCN和GraphSAGE几乎同时出现，GraphSAGE是GCN在空间域上的实现，似乎两者并没有太大区别。实际上，GraphSAGE解决了GC..
基于Python实现的图神经网络入门学习代码源码与笔记解析
最新发布
10-05
该入门级项目通过Python语言实现了图神经网络的核心概念，包含83个文件，涵盖20个Python源代码文件、12个Python测试文件、5个...项目提供了详尽的代码、注释和笔记，旨在帮助初学者掌握图神经网络的基本原理和应用。
CS231n-全连接神经网络笔记
07-28
通过研究CS231n的全连接神经网络笔记，我们可以更深入地理解图像分类任务的挑战和解决方案，以及如何使用机器学习和深度学习技术来应对这些挑战。这些知识不仅有助于在学术上探索计算机视觉的前沿，而且在实际应用中...
cs224w 图神经网络 学习笔记（一）Introduction1
08-04
图神经网络学习笔记（一）Introduction 本篇笔记主要介绍了图神经网络的基础知识，包括图的优势、图论的基本概念、网络的定义、图的结构、图的不同形式和图的存储等。 1. 图的优势 图是一种通用语言，能够描述...
一份简短入门《图神经网络GNN》笔记小册.pdf
04-11
本文组织如下:首先，介绍了图和网络的基本概念。其次，我们描述了在GNNs中用于计算节点嵌入的主要步骤。接下来，我们将介绍现有文献中经常提到的三种GNN技术。最后，我们对该领域的其他著名作品进行了有限的综述。
业界分享 | 百度图神经网络实践
Kaiyuan_sjtu的博客
02-22 1143
作者|黄正杰来源|DataFunTalk图是一个复杂世界的通用语言，社交网络中人与人之间的连接、蛋白质分子、推荐系统中用户与物品之间的连接等等，都可以使用图来表达。图神经网络将神...
神经网络中的Batch Normalization
weixin_43933420的博客
02-04 744
神经网络中的batch normalization为什么要Batch NormalizationBatch Normalization的具体做法 为什么要Batch Normalization 首先，我们做一个类比。在传统机器学习中，我们经常要使用标准化的方法来使输入数据保持在一定的范围（处在同一数量级），这样可以加快模型求解速度。 举例来说，假设我们要用回归的方法预测房价，自变量为房子面积和房间...
采样
zhuhongde的博客
05-24 5596
参考文献 1.《百面机器学习》 2.《》 3.Python中的两种随机数机制 4. 5.
神经网络训练中batch的作用（从更高角度理解）
热门推荐
t18438605018的博客
12-11 3万+
1.什么是batch batch，翻译成汉语为批（一批一批的批）。在神经网络模型训练时，比如有1000个样本，把这些样本分为10批，就是10个batch。每个批（batch）的大小为100，就是batch size=100。 每次模型训练，更新权重时，就拿一个batch的样本来更新权重。 2.神经网络训练中batch的作用（从更高角度理解） 从更高的角度讲，”为什么神经网络训练时有batch？“，需要先讲一些预备知识。 当我们求损失loss用于梯度下降，更行权重时，有几种方式。一种是全部的样本用来求loss
图神经网络（GNN）基础
kleen_y的博客
05-04 1777
提示：用作学习笔记，顺便分享，侵删 文章目录前言一、图的基本概念1. 图的表示2. 图的实例3. 图的应用4. 使用图面临的挑战二、图神经网络基础（GNN）1.最简单的GNN2. pooling操作（汇集操作）3. 在图表各个部分之间传递消息三、GNN playground（作者文章的实验部分）四、GNN相关技术1. 其他类型的图2. GNN种图的采样和batch3. inductive biases（归纳偏置）4. GCN和MPNN5. 点和边做对偶6. GAT（Graph Attention Net.
DGL的图数据结构的创建、图的特征、dgl.batch及一些理解
学习笔记
05-18 7644
文章目录前言一、创建图1.dgl.graph((u, v))2.dgl.graph((tuple)...)二、理解图1.边和节点的特征赋值与查看2.图的一些属性或方法3.DGL中的Batch 前言 dgl是图神经网络构建的工具。官方文档：https://docs.dgl.ai/guide_cn/graph-basic.html#guide-cn-graph-basic有中文的文档，很贴心。 一、创建图 1.dgl.graph((u, v)) 我只说一下我目前用过的方式，还有许多方式可以看官方文档。 imp
训练更深和更大的图神经网络
weixu22的博客
07-01 1130
训练更深和更大的图神经网络 引言 深度学习的成功经验告诉我们，更多的训练数据、更深的网络结构能够达到更高的性能。然而，普通的基于 SGD（随机梯度下降）的方法在训练大规模 GNN（图神经网络）时面临着两个难以忍受的问题（资源消耗随图神经网络层数呈指数型增长）：训练时间长、消耗空间大。 为了降低训练模型时的资源消耗、提高训练速度，进而拓展图神经网络模型的泛用性，提出更高效的训练方法是非常有必要的。综上，本文将介绍并比较几种主流的新训练方法，并对其中最有效的 Cluster-GCN 方法开展 Python
百度图神经网络学习——day04：图神经网络算法（二）
weixin_45325331的博客
11-27 1528
文章目录一、图采样1.GraphSAGE2.PinSAGE二、邻居聚合1.GIN模型的聚合函数2.其他复杂的聚合函数三、编程实现1.GraphSage采样函数实现2.GraphSage聚合函数实现 一、图采样 在图神经网络中，使用的数据集可能是亿量级的数据，而由于GPU/CPU资源有限无法一次性全图送入计算资源，需要借鉴深度学习中的mini-batch思想。 传统的深度学习mini-batch训练每个batch的样本之间无依赖，多层样本计算量固定；而在图神经网络中，每个batch中的节点之间互相依赖，在计算
神经网络训练中的batch，epoch，iteration
杰斯的盐
06-10 2763
定义 batch：使用训练集的部分数据对神经网络进行一次训练和反向传播参数更新。 epoch：使用训练集的所有数据对神经网络完成一次训练。 iteration：使用一个batch的数据对神经网络进行参数更新的过程。 关系 举例 数据集有2000张训练图片，100张测试图片。现在选择 Batch Size=6对模型进行训练。 每个Epoch要训练的图片数量：2000 训练集具有的Batch个...
图神经网络学习笔记：社区结构探究与Louvain算法
"cs224w 图神经网络 学习笔记（五）Community Structure in Networks1" 在图神经网络的研究中，社区结构（Community Structure）是网络分析的一个重要概念，尤其是在社交网络、信息网络等领域。社区结构指的是网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值