GNN各阶段执行时间实验【Citeseer、Pubmed、Reddit、OGB数据集】

最新推荐文章于 2025-02-05 16:26:45 发布

智慧的旋风

最新推荐文章于 2025-02-05 16:26:45 发布

阅读量6.7k

点赞数 13

分类专栏： GNN实验文章标签： GNN 图神经网络图负载 OGB

本文链接：https://blog.csdn.net/weixin_41650348/article/details/113709290

版权

GNN各阶段执行时间实验【Citeseer、Pubmed、Reddit、OGB数据集】

数据集

包括Citeseer、Pubmed、Reddit、OGB数据集的说明、数据集的划分、各数据集的介绍。

数据集	图	节点	边	特征(x)	标签(y)
Citeseer	1	3327	4732	3703	6
Pubmed	1	19717	44338	500	3
Reddit	1	232965	11606919	602	41
ogbn-arxiv	1	169343	1166243	128	40
ogbn-products	1	2449029	61859140	100	47

数据集划分（数量）	训练集	验证集	测试集
Citeseer	120	500	1000
Pubmed	60	500	1000
Reddit	153431	23831	55703
ogbn-arxiv	90941	29799	48603
ogbn-products	196615	39323	2213091

Citeseer、Pubmed

目前有三个流行的引文网络「小数据集」：Cora、Citeseer和Pubmed。这些benchmark由Kipf和Welling在GCN模型中推出。

我的博客：节点分类任务中的引文网络benchmark。

Reddit是一个大型的在线讨论论坛，我们使用Reddit帖子构建了一个图数据集。节点代表帖子，边代表同一个用户对这两个帖子都发表了评论。这个数据集总共包含232965个节点，平均度为492。

数据集下载地址：https://data.dgl.ai/dataset/reddit.zip。

OGB数据集

在这里插入图片描述

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

智慧的旋风

关注关注

13
点赞
踩
39

收藏

觉得还不错? 一键收藏
8
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

TPAMI 2024 | 解耦图神经网络：同时训练多个简单的GNN而不是一个

小白学视觉

11-27

689

图神经网络（GNN）由于节点依赖随着层数增加呈指数增长，导致严重的效率问题。这极大地限制了随机优化算法的应用，使得GNN的训练通常耗时较长。为了解决这个问题，我们提出了将多层GNN解耦为多个简单模块以实现更高效的训练，该框架包括经典的前向训练（FT）和设计的反向训练（BT）。在所提出的框架下，每个模块都可以在FT中通过随机算法高效地训练，而不会因简单性而扭曲图信息。为了避免FT中单向信息传递以及充分训练浅层模块与深层模块，我们开发了一种反向训练机制，使前层模块能够感知后层模块，灵感来自经典的反向传播算法。

B.图算法：图学习之图神经网络GraphSAGE、GIN图采样算法[系列七]

丨汀、的博客

11-19

1151

本项目主要讲解了GraphSage、PinSage、GIN算法的原理和实践，并在多个数据集上进行仿真实验，基于PGl实现原论文复现和对比，也从多个角度探讨当前算法的异同以及在工业落地的技巧等。

8 条评论您还未登录，请先登录后发表或查看评论

图神经网络5

to222的博客

07-02

404

Cluster-GCN 图神经网络已经成功地应用于许多节点或边的预测任务，然而，在超大图上进行图神经网络的训练仍然具有挑战。主要面临两个问题：随着图神经网络层数增加，计算成本呈指数增长保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间当前两种主要的梯度下降方法： Full-batch gradient descent 内存消耗大、时间复杂度低、难收敛 Mini-batch gradient descent 内存消耗小、时间复杂度高、较容易收敛论文Clust

citeseer数据集

07-18

这是实验平台上有用的数据集，，它描述了世界顶级会议论文之间的引用

Reddit数据集

weixin_62646577的博客

02-05

626

数据集中的节点代表Reddit帖子，而边则表示如果同一用户对两个帖子都发表了评论，则这两个帖子之间建立连接。数据集总共包含232,965个帖子，平均度数为492，意味着平均每个帖子与492个其他帖子通过同一用户的评论相连。每个数据实例代表一个Reddit帖子或评论，包含以下字段：文本内容、标签（情感或主题类别）、数据类型（指示条目是帖子还是评论）、社区名称、日期时间、用户名编码和URL编码等。节点标签是帖子所属的社区或“subreddit”。数据集的前20天用于训练，其余天用于测试（其中30%用于验证）。

Citeseer-数据集

03-26

citeseer数据

09-29

CiteSeer 上的数据集，一般用来做数据挖掘

数据集整理

ANNA

09-08

1288

可选用的数据集主要包括Cora、Citeseer、DBLP三类。 DBLP数据集用XML描述，字段信息包括：author、title、pages、year、booktitle、url、crossref、publisher、ee、cdrom、isbn、cite_label等。其中作者名属性信息的格式是统一的，处理比较方便。目前，DBLP对作者重名问题的处理已经有不错的效果。例如：输入一作者名“...

【图神经网络基础】认识数据集--同质数据集CiteSeer

BetrayFree的博客

05-21

2413

CiteSeer 数据集由学术论文组成，每篇论文被视为一个节点，引用关系被视为边。该数据集包含六个类别的论文，每个节点都带有特征向量和标签。数据集的主要任务是根据节点的特征和图结构对节点进行分类。

OGB数据集《Open Graph Benchmark: Datasets for Machine Learning on Graphs》

智慧的旋风的博客

02-11

5316

OGB数据集 之前一直在几个玩具数据集上跑模型，发现了很多问题。看了OGB论文里的一些描述，我也深有体会，感觉很多东西都说到我心里去了。预计再发展几年吧，OGB也能像ImageNet那样，成为图表示学习领域中的一个统一的标准。 Hu W, Fey M, Zitnik M, et al. Open graph benchmark: Datasets for machine learning on graphs[J]. arXiv preprint arXiv:2005.00687, 2020. 数据集是模

从上到下｜图网络开放数据集

chengsen.ren

09-04

5684

从上到下｜图网络开放数据集 很多学者和机构发布了许多与图相关的任务，以测试各种GNN的性能。这些任务一般都会提供数据集。按照任务分类，可以把数据集分成以下几类：引文网络生化图社交网络知识图谱开源数据集仓库参考资料： A Comprehensive Survey on Graph Neural Networks Introduction to Graph Neural Networks 引文网络 Pubmed/Cora/Citeseer 引文网络，节点为论文、边为论文间的引用关系。这

Reddit r/Place History-数据集

03-25

该数据集是随时间变化的r / place的完整时间放置历史记录。每条记录都是单步移动：一位用户将一个像素更改为15种不同颜色中的一种。

在Cora和Citeseer数据集上使用GCN网络实现链路预测

04-06

在Cora和Citeseer数据集上用图卷积神经网络实现链路预测，包括GCN网络搭建、Cora和Citeseer数据集的数据预处理，以及链路预测网络的训练和测试代码。

Reddit 2.5 million 社交新闻数据数据集

07-03

美国 reddit 新闻网站最受欢迎的 2500 名发布者每家媒体 1000 个发布内容及评论数据。

Reddit 用户交互记录【Kaggle竞赛】数据集

07-08

该数据包含 25000 名reddit用户针对不同文章的评论时间和标题，数据仅包含三列：reddit用户名、评价文章名和评价时间。注意：数据中没有具体评论的内容。

【Python】批量创建/读取变量

海到无边天作岸山登绝顶我为峰

09-13

2238

Hello！ଘ(੭ˊᵕˋ)੭昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！唯有努力💪本文仅记录自己感兴趣的内容文章仅作为个人学习笔记记录，记录从0到1的一个过程希望对您有一点点帮助，如有错误欢迎小伙伴指正。

图网络常用数据集总结——Cora, CiteSeer, PubMed, PPI, BlogCatalog, Yelp

weixin_43580130的博客

05-06

2万+

Cora数据集(引文网络)由机器学习论文组成，是近年来图深度学习很喜欢使用的数据集。该数据集共2708个样本点，每个样本点都是一篇科学论文，所有样本点被分为8个类别，类别分别是： 1）基于案例；2）遗传算法；3）神经网络；4）概率方法；5）强化学习；6）规则学习；7）理论每篇论文都由一个1433维的词向量表示，所以，每个样本点具有1433个特征。词向量的每个元素都对应一个词，且该元素只有0或1两个取值。取0表示该元素对应的词不在论文中，取1表示在论文中。所有的词来源于一个具有1433个词的字典。每篇论文

GCN使用的数据集Cora、Citeseer、Pubmed、Tox21格式

最新发布

03-20

### 下载和划分 CiteSeer 数据集 CiteSeer 是一个经典的图数据集，常用于图神经网络的研究和评估。以下是关于如何下载以及划分该数据集的具体方法。 #### 使用 PyTorch Geometric (PyG) 下载 CiteSeer 数据集 PyTorch Geometric 提供了一个便捷的方法来加载常见的图数据集，包括 CiteSeer。可以通过 `torch_geometric.datasets.Planetoid` 类轻松获取此数据集[^2]。 ```python from torch_geometric.datasets import Planetoid # 设置根目录路径和数据集名称 dataset_name = 'CiteSeer' root_path = './data' # 加载 CiteSeer 数据集 dataset = Planetoid(root=root_path, name=dataset_name) # 获取第一个（也是唯一一个）图对象 data = dataset[0] print(f"Dataset: {dataset}") print("==================") print(f"Number of graphs: {len(dataset)}") # 输出应为1 print(f"Number of features: {dataset.num_features}") # 节点特征维度 print(f"Number of classes: {dataset.num_classes}") # 类别数量 ``` 上述代码会自动从指定 URL 下载 CiteSeer 数据集到本地文件夹，并将其存储为适合 PyTorch Geometric 的格式[^4]。 --- #### 划分训练集、验证集和测试集在实际应用中，通常需要将数据划分为训练集、验证集和测试集以便于模型的训练与评估。以下是一个简单的划分方式： ```python import torch # 设定随机种子以保证可重复性 torch.manual_seed(42) # 初始化掩码张量 num_nodes = data.x.size(0) train_mask = torch.zeros(num_nodes, dtype=torch.bool) val_mask = torch.zeros(num_nodes, dtype=torch.bool) test_mask = torch.zeros(num_nodes, dtype=torch.bool) # 随机分配节点至不同集合 indices = torch.randperm(num_nodes) n_train = int(num_nodes * 0.6) # 训练集占比 n_val = int(num_nodes * 0.2) # 验证集占比 train_indices = indices[:n_train] val_indices = indices[n_train:n_train + n_val] test_indices = indices[n_train + n_val:] train_mask[train_indices] = True val_mask[val_indices] = True test_mask[test_indices] = True # 将新的掩码赋值给原始数据对象 data.train_mask = train_mask data.val_mask = val_mask data.test_mask = test_mask print(data.train_mask.sum()) # 查看训练集大小 print(data.val_mask.sum()) # 查看验证集大小 print(data.test_mask.sum()) # 查看测试集大小 ``` 以上代码实现了基于比例的手动划分逻辑。如果希望更简单地操作，则可以直接利用 PyTorch Geometric 自带的数据集中预定义好的分割方案[^3]。 --- #### 特征标准化处理为了提高模型收敛速度，在输入 GNN 模型之前可以对节点特征进行标准化处理。例如采用 Z-Score 标准化技术： ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() features_numpy = data.x.numpy() scaled_features = scaler.fit_transform(features_numpy) data.x = torch.tensor(scaled_features, dtype=torch.float32) print("Feature matrix after normalization:") print(data.x.mean(dim=0)) # 应接近零均值 print(data.x.std(dim=0)) # 应接近单位方差 ``` 这一步骤有助于提升某些优化算法的表现效果。 --- ### 总结通过 PyTorch Geometric 可快速完成 CiteSeer 数据集的下载工作；随后可根据需求自定义或者沿用默认策略来进行样本拆分；最后还可能涉及必要的前处理步骤如特征缩放等操作。