zero-copy加速GNN训练笔记

已于 2022-04-15 19:22:05 修改
阅读量1.2k 收藏 1
点赞数 3
分类专栏： DGL & GNN 文章标签： gnn
于 2022-04-15 19:19:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013036495/article/details/124201791
版权

前言：

  好久没更新博客了，添加一篇旧文。该文内容实际有点过时了，DGL最近把data pipeline重构了一下(https://github.com/dmlc/dgl/pull/3665)，应该比文中内容更丰富一些了。

导言：

  最近工作需要调研一下DGL社区的一些动态，发现了这篇针对GNN训练的论文: Large Graph Convolutional Network Training with GPU-Oriented Data Communication Architecture，这里对此做一下简单的笔记。

Motivation:

  GNN的主要场景是依据Node的邻居信息来计算得到Node的Embedding。目前GNN模型中常见的mini-batch训练方式主要可以分为两部分：a)当前batch的子图准备，主要包括采样得到子图的结构以及对应子图的特征获取。b)根据得到的子图完成GNN模型的计算。
  通常来讲，完整的Graph（全图）和初始feature（所有结点的特征）是放在主存中的【主要是因为通常显存无法放下全图和对应的所有feature】，由CPU来完成子图采样和对应的特征准备工作，然后将子图和特征传输至GPU中完成GNN模型的计算。在这个过程中，CPU需要收集每个batch所需的sparse feature，会给主机的内存带宽和CPU带来很大的压力。

  本文通过zero-copy技术，使用GPU的线程直接获取host memory中的稀疏特征，从而减轻CPU的负担，并且减少了CPU的feather gather阶段。可以加速GNN训练，减少host资源的消耗。为了提高数据传输的效率，还提出了1)自动的地址对齐来最大化PCIe的packet efficiency。2)异步的零拷贝访问和内核执行来overlap数据传输和训练(pipeline)。

感觉论文思路还是蛮容易理解的，估计难度主要是在工程上。

主要内容:

  • 地址对齐

  • 利用GPU thread来帮助传输feature，CPU不需要再进行feature gather工作，只需将需要的node idx传入gpu即可。这里作者经过实验，在其环境下需要10%左右的GPU资源用于数据传输，剩下的90%用于train。这里需要解决资源分配和同步问题，资源分配用的是MPS(CUDA multiprocessing service)，看文中应该是没有那么好用的样子。同步问题主要是避免data transfer阻塞了train（这部分是不是已经有prefetch的意思了？即GPU部分thread来负责数据搬运，同时还不阻塞train的那部分）。这部分论文3.2节有介绍。然后还有pingpong buffer等。没有很理解。估计要结合实现来看一看（ping pong buffer应该是让一个buffer处理的同时准备另一个buffer）。

  • 总流程

  • 多卡训练

实现

  • 官方repo：https://github.com/K-Wu/pytorch-direct_dgl

  • 另外好像已经（部分）合入了DGL-UnifiedTensor，是不是把非修改Pytorch的部分合入了？有时间跑跑这个commit之后的example，看看效果。

在公司怎么都编译不成功，最后在家里来弄了。
家里环境是CPU是AMD3700X，B450的板子，3200频率的内存条16G*2，显卡是2060Super。
编译了dgl的这个版本：git clone --recurse-submodules https://github.com/davidmin7/dgl.git

跑了examples/pytorch/graphsage/train_sampling_unified_tensor.py 和train_sampling.py进行对比。结果如下：

  • 特征在CPU上，原始方式。显存使用大概4G(nvidia-smi)。
(work) maqy@ubuntu:~/work/gnn/dglUnifiedTensor/davidfork/dgl/examples/pytorch/graphsage$ python train_sampling.py --num-epochs 10 --data-cpu
Epoch 00000 | Step 00000 | Loss 6.1428 | Train Acc 0.0300 | Speed (samples/sec) nan | GPU 265.5 MB
...
Eval Acc 0.9465
Test Acc: 0.9468
...
Epoch 00009 | Step 00140 | Loss 0.3134 | Train Acc 0.9180 | Speed (samples/sec) 15294.2769 | GPU 514.7 MB
Epoch Time(s): 10.4865
Avg epoch time: 10.435481643676757
  • 特征在CPU上，zero-copy（论文）方式，感觉这里显存打印应该是不准的,实际需要显存2.7G左右(nvidia-smi命令)，为啥会比上一种需要的显存还好呢？是因为手动分配了部分没检测到的显存使用？TODO：需要注意一下。
(work) maqy@ubuntu:~/work/gnn/dglUnifiedTensor/davidfork/dgl/examples/pytorch/graphsage$ python train_sampling_unified_tensor.py --num-epochs 10 --data-cpu
Epoch 00000 | Step 00000 | Loss 6.0242 | Train Acc 0.0280 | Speed (samples/sec) nan | GPU 11.1 MB
Eval Acc 0.9467
Test Acc: 0.9458
...
Epoch 00005 | Step 00140 | Loss 0.3690 | Train Acc 0.9130 | Speed (samples/sec) 29736.9992 | GPU 11.6 MB
Epoch Time(s): 5.5860
Avg epoch time: 5.597336053848267
  • 特征在GPU中，理论速度最快的方式。显存使用4.3G。
(work) maqy@ubuntu:~/work/gnn/dglUnifiedTensor/davidfork/dgl/examples/pytorch/graphsage$ python train_sampling.py --num-epochs 10
Epoch 00000 | Step 00000 | Loss 5.9498 | Train Acc 0.0160 | Speed (samples/sec) nan | GPU 829.8 MB
Eval Acc 0.9452
Test Acc: 0.9470
...
Epoch 00009 | Step 00140 | Loss 0.3385 | Train Acc 0.9270 | Speed (samples/sec) 70266.2194 | GPU 1080.4 MB
Epoch Time(s): 2.6766
Avg epoch time: 2.6224377155303955

dgl master(2022.02.16)分支

新分支中重写了example，将UnifiedTensor也可以用于Graph了，因此在服务器上编译了一下想测试性能。目前DGL的采样模式是多种的，具体见下图：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2TqYptJf-1650020589965)(5DB5CB9422924AA1AC759DE6BB7544E8)]

后续对这块可能会进行简化成：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0sKc8pvI-1650020589966)(23EE0B74652845A1BFE36C28413F11CA)]

测试平台：

  • Intel® Xeon Gold CPU 2.10GHz 16核心 x 2
  • Nvidia Tesla T4 x 6 | pcie3.0 x 8
  • 内存376G DDR4 2400 MT/s

测试代码:

  • 单卡graphsage reddit(only train, not used inference, 因为现在master分支代码有点问题)
graph devicefeature devicesamplingsubgraph constructionHost <=> deviceepoch TimeGPU memory(print/nvidia-smi)
gpugpugpugpuNO3.5s1079MB/5080MB
uvagpugpugpugraph zero-copy host->device3.9s1079MB/3090MB
cpugpucpucpugraph host->device4.3s1079MB/3570MB
uvauvagpugpugraph&feature zero-copy host->device11s12.8MB/2050MB
cpuuvacpucpugraph/feature zc host->device11.4s12.5MB/1807MB
cpucpucpucpugraph/feature host->device14.1515MB/2550MB
  • 单机6卡
graph devicefeature devicesamplingsubgraph constructionHost <=> deviceepoch TimeGPU memory(print/nvidia-smi)
uvauvagpugpugraph&feature zero-copy host->device2.54s13.8MB/1860MB
  • 单机 Unsupervised train TODO(很可能不会再测试了）
搜索领域查询优化的策略与实践
AI天才研究院
04-30 783
在信息爆炸的时代，搜索引擎作为用户获取信息的核心入口，其性能直接影响用户体验与业务价值。查询优化是搜索引擎的核心技术之一，旨在通过解析用户查询、理解真实意图、优化检索结果排序，实现“用户输入-系统响应-结果反馈”的闭环优化。本文聚焦搜索查询优化的全链条技术，包括查询预处理（分词、纠错、归一化）、意图分析（语义理解、上下文建模）、查询扩展（相关词推荐、实体链接）、相关性排序（传统模型与深度学习方法），并结合具体代码实现与实战案例，提供从理论到工程的完整解决方案。背景介绍：明确目标、读者与文档结构。
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
系统设计 - Zero-Copy总结和性能测试
不积跬步无以至千里; 不积小流无以成江海
07-08 957
zero-copy应用场景：将本地一个文件通过网络传输给另一个程序。zero-copy技术的使用场景有很多，比如Kafka, 又或者是Netty等，可以大大提升程序的性能。下面我们通过对比传统方式和zero-copy的方式传输数据，来理解zero-copy。Zero-copy上下文切换的次数从4次降低到2次，数据复制次数从4次降低到2次。Zero-copy 中数据的copy都由DMA执行，CPU不参与复制，从而节省CPU的消耗。 Zero-copy中的zero不是指不需要copy，而是指user mo
图神经网络GNN加速方法
asd1234bbbb的博客
03-05 984
ICLR2021 组合忽略图结构的浅层模型和利用标签结构相关性的两个简单后处理步骤，来获得GNN性能的提升 提出了包含三个主要部分的简单管道，如图1所示 （1）使用节点特征（忽略图结构）做出基本预测（例如MLP或线性模型） （2）校正步骤，其将训练数据中的不确定性传播到整个图上，以校正基本预测 （3）平滑图上的预测 左群集用橙色表示，右群集用蓝色表示。我们忽略图结构使用MLP进行基本预测，我们假设在此示例中的所有节点上都得到了相同的预测。然后，通过在训练数据中传播错误来校正基本预测。最后，用
【GNN】谷歌、阿里、腾讯等在大规模图神经网络上必用的GNN加速算法
fengdu78的博客
09-13 606
点击上方，选择星标或置顶，每天给你送上干货作者 | 对白出品 | 对白的算法屋今天我们来聊一聊在大规模图神经网络上必用的GNN加速算法。GNN在图结构的任务上取得了很好的结果，但由于需要将...
【基础知识思考整理 】Zero-copy原理理解（用户角度）
aganlengzi的专栏
11-25 2727
基础知识思考整理 http://write.blog.csdn.net/mdeditor#!postId=52836140 关于Zero-Copy的原理。主要参照的是一篇03年的文章[1]（Linux Journal），原理讲得很明白。首先需要知道应用场景： 适用于静态资源从磁盘到网络的发送（中间不对资源进行改变），这在web server提供的功能中很常见，一个例子是：保存在磁盘上的一
零拷贝机制(Zero Copy)
八荒六合唯我独尊
05-01 594
要理解零拷贝机制，首先需要了解它所要解决的问题，试想一个场景：我们需要从磁盘读取一个文件通过网络输出到一个客户端。 服务端的步骤一般是这样的： read(file, tmp_buf, len); write(socket, tmp_buf, len); 虽然只有两个步骤：从磁盘读取文件，将文件写入到socket，但是在操作系统内部经历了一个较为复杂的过程，这个过程如...
DGL笔记3——自己写一个GNN模型
大卫DrDavidS的博客
06-24 1066
原文：Write your own GNN module 之前我们学习了 DGL 怎么表示一个图，然后怎么写一个简单的 GCN 模型进行节点识别。但是有时候我们的模型不仅仅是简单地堆叠现有的 GNN 模块。 比如我们现在想发明一种考虑节点重要性或边权重来聚合邻域信息的新方法，该怎么办？ 所以我们现在将要学习： DGL 的消息传递 API。 自己实现 GraphSAGE 卷积模块。 记得在看这篇之前先看上一篇 GNN 分类哈~ 首先导入相关包： import dgl import torch im
【Code】GraphSAGE 源码解析
阿泽的学习笔记
05-21 5290
1.GraphSAGE 本文代码源于 DGL 的 Example 的，感兴趣可以去 github 上面查看。 阅读代码的本意是加深对论文的理解，其次是看下大佬们实现算法的一些方式方法。当然，在阅读 GraphSAGE 代码时我也发现了之前忽视的 GraphSAGE 的细节问题和一些理解错误。比如说：之前忽视了 GraphSAGE 的四种聚合方式的具体实现，对 Alogrithm 2 的算法理解也有问题，再回头看那篇 GraphSAGE 的推文时，实在惨不忍睹= =。 进入正题，简单回顾一下 GraphSAG
【Code】关于 GCN，我有三种写法
阿泽的学习笔记
05-21 2753
本篇文章主要基于 DGL 框架用三种不同的方式来实现图卷积神经网络。 1. DGL DGL（Deep Graph Library）框架是由纽约大学和 AWS 工程师共同开发的开源框架，旨在为大家提供一个在图上进行深度学习的工具，帮助大家更高效的实现算法。 用现有的一些框架比如 TensorFlow、Pytorch、MXNet 等实现图神经网络模型都不太方便，同样现有框架实现图神经网络模型的速度不够快。 DGL 框架设计理念主要在于将图神经网络看作是消息传递的过程，每一个节点会发出它自己的消息，也会接收来自其
【Zero-Copy】一些关于 零拷贝 的问题
qq_37794738的博客
04-08 1394
统一内存提供了一个简化的编程模型，通过自动数据迁移来实现CPU和GPU之间的内存透明共享，减轻了开发者在内存管理上的负担，但可能会引入额外的性能开销。共享内存是GPU内部线程块中的快速内存，用于加速线程块内的数据交换和减少全局内存访问，需要开发者精心设计数据访问模式。零拷贝内存专注于减少CPU和GPU之间的数据拷贝操作，适用于小批量数据处理，需要开发者手动管理内存。
CUDA编程——zero copy
Zhang Junior 的博客
02-04 8494
零复制　　zero copy（零复制）是一种特殊形式的内存映射，它允许你将host内存直接映射到设备内存空间上。其实就是设备可以通过直接内存访问（direct memory access，DMA）方式来访问主机的锁页内存。 　　锁页主机内存　　现代操作系统都支持虚拟内存，操作系统实现虚拟内存的主要方法就是通过分页机制。操作系统将内存中暂时不使用的内容换出到外存（硬盘等大容量存储）上，从而腾出空间存
CUDA | ZeroCopy
【黑键】
06-18 765
零拷贝内存： 通过cudaHostAlloc函数+cudaHostAllocMapped参数， 而固定内存 cudaHostAlloc函数+cudaHostAllocDefault参数。 通过cudaHostAllocMapped分配的主机内存也是固定的，它与通过cudaHostAllocDefault分配的固定内存有着相同 的属性。 但...
什么是"零拷贝"技术
MayMatrix 的博客
01-16 3643
前言 从字面意思理解就是数据不需要来回的拷贝，大大提升了系统的性能；这个词我们也经常在java nio，netty，kafka，RocketMQ等框架中听到，经常作为其提升性能的一大亮点；下面从I/O的几个概念开始，进而在分析零拷贝。 I/O概念 1、缓冲区 缓冲区是所有I/O的基础，I/O讲的无非就是把数据移进或移出缓冲区；进程执行I/O操作，就是向操作系统发出请求，让它要么把缓冲区的数...
Linux Zero-copy零拷贝技术：源码示例
RToax
04-24 720
《Linux Zero-copy零拷贝技术：源码示例》 《Linux Zero-copy零拷贝技术全面揭秘》 《什么是mmap？零拷贝？DMA？》 《Linux C语言：用零拷贝技术实现TCP代理（源代码+测试服务端客户端代码）》 《Kafka和RocketMQ底层存储：零拷贝技术》 《Linux I/O原理和零拷贝Zero-copy技术全面揭秘》 《通过零拷贝进行有效的数据传输(java、c)》 《搞懂Linux零拷贝，DMA》 《【转】零拷贝的实现原理》 《CUDA零拷贝内存（zero
图神经网络（GNN）最简单全面原理与代码实现
热门推荐
hellozhxy的博客
01-11 2万+
图数据是由节点（Node）和边（Edge）组成的数据，最简单的方式是使用邻接矩阵来表示图形结构，从而捕捉图形中的节点和边的相关性。假设图中的节点数为n，那么邻接矩阵就是一个n*n的矩阵，如果节点之间有关联，则在邻接矩阵中表示为1，无关联则为0。在图中，鲁班与其他英雄都没有关联，表现在邻接矩阵当中就是它所在的行与列为全零。王者荣耀当中的图和邻接矩阵图数据的信息包含3个层面，分别是节点信息（V）、边信息（E）、图整体（U）信息，它们通常是用向量来表示。
ICML'21 1000层GNN！单块GPU即可训练！
weixin_45519842的博客
06-17 643
推荐一篇ICML 2021的GNN最新进展：如何在单块GPU上训练1000层GNN！image-20210616221754665论文链接：https://arxiv.org/pdf/21...
cuda中的zero-copy
最新发布
游泳的鱼的专栏
01-16 103
kernel函数中的每个参数都必须在gpu设备上分配明确的内存空间，或者是使用cudaHostAllocMapped方式从主机端以映射的方式实现zero-copy。
如何提升zerotier访问的速度
u010971018的博客
08-20 2854
如何提升zerotier访问速度
Hyper-GNN和GNN
09-06
Hyper-GNN（超图神经网络）是一种扩展自传统GNN（图形神经网络）的概念，它不仅考虑了节点自身的属性，还引入了节点之间的复杂关系，例如超链接、边的多重性和子图结构。相比普通GNN，Hyper-GNN可以处理更复杂的图结构数据，包括超图，这种图中节点不仅可以有邻接节点，还可以有子图邻居。 在Hyper-GNN中，通常会定义一种称为“超步”（hyper-edge walk）的机制，它允许模型从一个节点跳到与其关联的子图中的其他节点。此外，Hyper-GNN可能会使用层次化的结构来捕获多层次的上下文信息，提高了模型在处理大规模图数据时的性能。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值