PyG OGB 使用过程记录

已于 2022-11-02 21:59:58 修改
阅读量1.3k 收藏 1
点赞数 1
文章标签： 深度学习 人工智能 pytorch
于 2022-09-29 10:53:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40926715/article/details/127093361
版权

1.OGB

ogbn 链接是 standford-ogb官网，节点级的 ogb-n(ode)
在这里插入图片描述

2.PyG导入ogb数据集出现的问题

from ogb.nodeproppred 这句话会卡住，代码就 无限期停在这里，去了官方例子issue里面 发现有很多人也遇到 issues
在这里插入图片描述
有回答说是 ogb 和 torch_geometric的版本兼容性问题。。 我这里没有升级ogb版本，跑代码时候 提示ogb’包有最新了。
此处 我没有找到很好的解决办法，但是把这句话放到 import torch前面会加大 程序正常运行的概率。 同时 出现卡住，直接ctrl c,重跑

后面的博客有比较新的 PyG安装教程，采用新的版本 安装比较 新的torch+PyG应该还好。

3. nn.bacthNorm1d

ogbn-arxiv 的 gcn和 graphsage 一般处理 在定义网络会加 batchnorm1d
官方手册解释pytorch手册
在这里插入图片描述
BatchNorm详解 知乎回答 关于batchnorm真正做了什么 训练和测试阶段 均值方差的处理

4. argparse.add_argument中的action为‘store_true’使用说明

tore_true 是指触发（传该参数） action时为真，不触发则为假
这是官方的GNN-arxiv的例子，这里model实现了两种 （gcn和graphsage）
在这里插入图片描述
若参数传入时候 显式 --参数， 则表明为真，则会采用graphsage模型
在这里插入图片描述
在这里插入图片描述

5. crtl z，c jobs

ctrl+z挂起的进程恢复到后台启动

  • 每次按ctrl c结束 程序 不小心 按倒 ctrl z，，进程被挂起 （暂停）
  • 通过 jobs 命令查看 后台挂起的进程
  • bg 挂起号让挂起的进程 在后台 执行
  • fg 挂起号 让后台运行的程序到前台执行
  • kill -9 id 杀死进程

6. seed（）

【PyTorch】torch.manual_seed() 详解
在这里插入图片描述
random.seed()函数和np.random.seed()函数
在这里插入图片描述

7. torch.nn.MarginRankingLoss

手册 pytorch距离函数
在这里插入图片描述
一般采用 marginranking loss 都是在对比学习中，增大负样本对距离，减小正样本对距离。 因此先定义距离函数。
在这里插入图片描述
y=1 前面值高。

8. torch.mm 和 torch. mul

之前记录过 * 和 torch.matmul. 最近看到 torch,mm
在这里插入图片描述
torch.mul 和 * 一样 都是 求得哈达玛积

9. 枚举函数enumerate()

遍历 元组，列表，字符串等。 多了一个索引，参数 start 指定最开始 索引开始 返回 枚举对象
python 内置函数 enumerate
在这里插入图片描述

在这里插入图片描述

Complicated__76
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
dgl使用ogb包导入OGB数据集
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
12-29 2294
OGB简介 Open Graph Benchmark (OGB)是一个图深度学习的基准数据集。 官方的ogb包提供了用于下载和处理OGB数据集到dgl.data.DGLGraph对象的API。本节会介绍它们的基本用法。 使用pip安装ogb包 pip install ogb 为Graph Property Prediction任务加载数据集 # 载入OGB的Graph Property Prediction数据集 import dgl import torch from ogb....
PyG-GraphSage首个采样minibatch训练
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
03-02 1585
目录 基础 简介 SAGE模型讲解 GCN不足 创新（直推式变成归纳式：分层采样+聚合函数实现） 论文实现 反思（与GCN关系） pyg实现 SAGE的PyG实现 实现参考 cora+reddit数据的实现（GS） ogb数据的实现（GS） ogb数据的实现（SPMM） 基础 简介 最近学习回顾各种代码，学习到了graphsage，发现这个代码首先提出来batch采样训练以计算每个批的最终表示，但是由于节点间互有关系，加上图太大，又提出了逐层计算节点的表示，具体代码体现在
ogb：用于图机器学习的基准数据集，数据加载器和评估器
02-04
总览 开放式图形基准（OGB）是用于图形机器学习的基准数据集，数据加载器和评估器的集合。 数据集涵盖各种图形机器学习任务和实际应用程序。 OGB数据加载器与流行的图深度学习框架完全兼容，包括和 。 它们提供自动数据集下载，标准化的数据集拆分以及统一的性能评估。 OGB旨在提供涵盖重要图机学习任务，不同数据集规模和丰富域的图数据集。 图ML任务：我们涵盖了三个基本的图机器学习任务：在节点，链接和图级别的预测。 多样规模：小型图形数据集可以在单个GPU中处理，而中大型图形可能需要多个GPU或聪明的采样/分区技术。 丰富的领域：图数据集来自从科学领域到社会/信息网络的不同领域，还包括异构知识
OGB数据集的加载与处理【基于PyG】
智慧的旋风的博客
02-19 7193
GNN-Dataset 典型图数据集的加载与使用（基于PyG）。 OGB数据集 ogbn-arxiv ogbn-products 我的代码：https://github.com/ytchx1999/GNN-Dataset/blob/main/OGBn.ipynb from ogb.nodeproppred import PygNodePropPredDataset, Evaluator import torch_geometric.transforms as T ogbn-arxiv 1、加载数
【Code】OGB：图机器学习的基准测试数据集
阿泽的学习笔记
06-09 6963
1.OGB 1.1 Overview Open Graph Benchmark（以下简称 OGB）是斯坦福大学的同学开源的 Python 库，其包含了图机器学习（以下简称图 ML）的基准数据集、数据加载器和评估器，目的在于促进可扩展的、健壮的、可复现的图 ML 的研究。 OGB 包含了多种图机器学习的多种任务，并且涵盖从社会和信息网络到生物网络，分子图和知识图的各种领域。没有数据集都有特定的数据拆分和评估指标，从而提供统一的评估协议。 OGB 提供了一个自动的端到端图 ML 的 pipeline，该 pip
安装conda+python+pytorch+pyg+ogb指定版本（最全面）
qq_41884068的博客
09-19 2498
conda配置图神经网络库，pyg，ogb安装，无坑
Core数据集+PyG实现Core分类
03-09
"Core数据集+PyG实现Core分类"是一个关于使用图卷积网络（Graph Convolutional Networks, GCN）处理特定领域数据集（可能是Core数据集）的项目，它结合了PyTorch Geometric（PyG）库来实现图神经网络模型进行分类...
pyg_PYG_飘云阁密码工具_
10-03
2. 加密：加密是将明文转化为密文的过程，旨在保护数据的安全性。加密算法通常分为对称加密和非对称加密。对称加密如DES、AES，使用相同的密钥进行加密和解密；非对称加密如RSA、ECC，使用一对公钥和私钥，公钥可...
pyg密码学综合工具.zip
07-03
pyg密码学综合工具-搞密码的工具，CTF常用工具，自己下载吧，这个是保证可用的稳定版本，版本号为5.05，飘云阁版
pyg:初始化
03-08
在Python的世界里，`pyg`可能指的是`Pygame`，这是一个用于开发2D游戏的Python库。然而，由于提供的信息有限，我将假设这里讨论的是一个自定义的Python项目或者模块，它被命名为`pyg`，并且你正在尝试初始化这个项目...
CorrectAndSmooth-dgl:DGL的“结合标签传播和简单模型优于图形神经网络”的实现（ICLR 2021）
04-22
DGL CorrectAndSmooth的实现 该DGL示例实现了的论文中提出的GNN模型。 有关原始实现，请参见。 贡献者： 要求 该代码库在Python 3.7中实现。 有关软件包的版本要求，请参见下文。 dgl 0.6.0.post1 torch 1.7.0 ogb 1.3.0 本示例中使用的图形数据集 开放图基准（OGB）。 数据集摘要： 数据集 ＃节点 ＃边缘 ＃节点专长 公制 ogbn-arxiv 169,343 1,166,243 128 准确性 ogbn产品 2,449,029 61,859,140 100 准确性 用法 训练基本预测变量，并使用在不同数据集上遵循原始超参数的正确与平滑。 ogbn-arxiv MLP + C＆S python main.py python main.py --pretrain 线性+ C＆S python ma
斯坦福大学开源：探索斯坦福大学的一部分开源贡献
02-15
斯坦福开源心跳 该存储库将显示斯坦福大学的开源心跳界面。 查找用户的位置查询为Stanford以及已知组织的自定义列表。 如何将自己添加到存储库？ 如果无法通过查询找到您，则可以将用户名添加到文件。 如何从存储库中删除自己？ 将您的名称添加到要跳过的文件exclude-users.txt中。 如果您已经添加了文稿，请以要求完全删除。 如何为我的组/用户群生成此文件？ 我们使用的GitHub Action是 。
stanford_graph_learning_PyG_2_0.pdf
09-29
Matthias Fey, TU Dortmund -- PyG 2.0: Advanced Representation Learning on Graphs
OGB：图机器学习的基准测试数据集
galaxy_lyp的博客
04-09 219
OGB：图机器学习的基准测试数据集 https://blog.csdn.net/qq_27075943/article/details/106652570
图神经网络权威基准OGB（Open Graph Benchmark）
m0_38024592的博客
01-29 519
针对不同的图学习任务，比如节点性质、边性质、图性质的预测等，OGB都分别提供了相应的数据集，比如亚马逊产品购买网络、学者合作网络、学术引用网络、分子图等等。OGB一共包含三大类任务：节点性质预测、边性质预测、图性质预测，每种任务中又分别使用了不同的数据集，其中节点性质预测有5个数据集，边性质预测有6个数据集，图性质预测有4个数据集。因此，图神经网络在多个领域的复杂关系建模和互动系统中起到关键作用，这些领域包括生物学、地图、金融、搜索、推荐、高能物理学、社会科学和经济学等。
简单介绍ogb包(open graph benchmark)(图神经网络的基准数据集)
qq_43391414的博客
10-20 4207
Open Graph Benchmark (OGB) 是一个图深度学习的基准数据集。
数据集-知识图谱：OGB（Open Graph Benchmark）【英文】【用于图学习的基准测试数据集】
u013250861的博客
05-26 1248
OGB是一个真实的、大规模的、多样的并用于图学习的基准测试数据集。 斯坦福大学的Jure Leskovec教授在NeurlPS 2019大会的演讲中介绍了OGB并宣布开源，可以在其项目官网进行访问。 论文链接：https://arxiv.org/abs/2005.00687 OGB官网：https://ogb.stanford.edu/ GitHub地址：https://github.com/snap-stanford/ogb Jure Leskovec教授演讲：https://slideslive.co
【图神经网络】5分钟快速了解Open Graph Benchmark
最新发布
小哲的博客
06-20 2028
Open Graph Benchmark（OGB）是用于图机器学习的基准数据集、数据加载器和评估器的集合。数据集涵盖了各种图机器学习任务和现实世界中的应用程序。OGB数据加载器与流行的图深度学习框架完全兼容，包括PyTorch Geometric和Deep Graph Library（DGL）。它们提供自动数据集下载、标准化数据集拆分和统一的性能评估。
Python标准库glob模块详解
热门推荐
qq_42681787的博客
11-10 2万+
glob模块是按照 Unix shell 所使用的规则找出所有匹配特定模式的路径名称。我们只需要了解该模块的匹配规则与常用函数，就会使文件查找，路径匹配变得非常快捷简单。
基于pyg下载ogb数据集
03-30
1. 安装ogb库 ``` pip install ogb ``` 2. 下载数据集 以ogbn-arxiv数据集为例，可以使用以下代码下载数据集： ```python from ogb.nodeproppred import PygNodePropPredDataset dataset = ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值