图神经网络-学习日志3

节点嵌入

传统方法(学习日志2):主要工作花在了特征工程上,描述图神经网络的结构
——》
表示学习:自动区分特征

目标:通过对图的机器学习,进行有效且独立的特征学习

特征表示:将图中一个节点表示为d大小的向量 / 嵌入

节点之间嵌入程度的相似性–》节点在网络中的相似性

它可以用于许多任务:
在这里插入图片描述
节点在网络中的相似性-----相似度函数------》节点之间嵌入程度的相似性
在这里插入图片描述
这里使用最简单的解码器:点积

最简单的译码方式:浅层嵌入,每个节点都被分配一个唯一的嵌入向量
两种方法:

  1. DeepWalk
  2. node2vec

解码+译码的框架
在这里插入图片描述

这些嵌入独立于任务之外,因为它们没有接受过给定的预测任务训练,或特定的节点标签或链接的节点子集。
在这里插入图片描述
|
|
|

随机游走

首先进行定义:
1.随机游走的概率定义
在这里插入图片描述
2.两种生成预测概率的函数
在这里插入图片描述
|
|
|
随机行走优化:
在这里插入图片描述

随机梯度下降:
在这里插入图片描述
|
|
|
|

node2vec:

使用灵活的有偏向的随机游走,可以在本地视图和全局视图之间进行权衡
在这里插入图片描述
使用广度和深度优先搜索

算法步骤:
在这里插入图片描述
嵌入空间中的距离反映原始网络中的节点相似性
节点相似性的两个不同概念:天然相似性、邻里相似性

node2vec在节点分类上表现更好,随机游走往往效率更高

https://blog.csdn.net/weixin_38616616/article/details/120315705

嵌入整个图:

匿名随机游走:
两种方法:

  1. 图的嵌入只是点的嵌入之和
  2. 创建一个虚拟节点表示嵌入图,并且进行标准的图嵌入技术
  3. 匿名随机游走:与访问节点无关,与节点对应索引有关

计算匿名随机游走:
在这里插入图片描述
|
|
|
学习游走嵌入:预测在delta-大小的窗口中,某些情况下会同时发生的游走
在这里插入图片描述
|
|
|
总结:
在这里插入图片描述
|
|
|
节点嵌入的应用:
在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
训练神经网络对电脑有一些要求,主要涉及计算能力和存储资源。以下是一些常见的要求: 1. 处理器(CPU):神经网络的训练通常需要大量的计算资源,特别是对于复杂的模型和大规模的数据集。因此,拥有高性能的多核处理器(如Intel Core i7或更高级别)能够加速训练过程。 2. 形处理器(GPU):GPU在神经网络训练发挥着重要作用,因为它们可以高效地执行大规模的矩阵运算。使用支持CUDA或OpenCL的高性能GPU(如NVIDIA GeForce或AMD Radeon系列)可以显著加速训练过程。 3. 内存(RAM):神经网络的训练过程需要大量的内存来存储模型参数、激活值和梯度等间数据。通常建议拥有至少16GB的RAM,但对于更大规模的模型和数据集,可能需要更多内存。 4. 存储空间:训练神经网络需要存储大量的数据集、模型参数和训练日志等。确保有足够的存储空间来保存这些数据,特别是当使用大型数据集时。 5. 网络连接:如果使用云计算平台或分布式训练,稳定的网络连接是必要的。较大的模型和数据集可能需要高速的网络传输能力。 除了硬件方面的要求,还有一些软件和库的要求: 1. 深度学习框架:选择合适的深度学习框架(如TensorFlow、PyTorch、Keras等)来实现神经网络模型,并根据其要求进行配置和安装。 2. GPU支持:如果使用GPU进行加速训练,需要安装相应的GPU驱动和CUDA(如果使用NVIDIA GPU)或OpenCL(如果使用AMD GPU)。 3. 其他依赖库:根据选择的深度学习框架和任务需求,可能需要安装其他依赖库和工具,如NumPy、SciPy等。 总的来说,训练神经网络需要一台性能较高的计算机(特别是GPU),足够的内存和存储空间,并且需要安装和配置合适的软件和库。根据任务的复杂性和数据集的规模,可能需要调整硬件配置以及进行分布式训练等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值