Pytorch的cuda non_blocking (pin_memory)

已于 2022-03-19 10:09:12 修改
阅读量3.9k 收藏 10
点赞数 8
文章标签： Pytorch
于 2022-03-18 21:49:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/123585191
版权

non_blocking经常与DataLoader的pin_memory搭配使用

PyTorch的DataLoader有一个参数pin_memory，使用固定内存，并使用non_blocking=True来并行处理数据传输。

先来看一下过程吧：

1. x = x.cuda(non_blocking=True)
2. 进行一些和x无关的操作
3. 执行和x有关的操作

在non_blocking=true下，1不会阻塞2，1和2并行。

这样将数据从CPU移动到GPU的时候，它是异步的。在它传输的时候，CPU还可以干其他的事情（不依赖于数据的事情）

.cuda()是为了将模型放在GPU上进行训练。

non_blocking默认值为False

   

hxxjxw
关注
并发编程实践一：Non-Blocking队列算法
宁静致远
04-20 5059
队列是一种常用的数据结构，这片文章主要是介绍JDK中的非阻塞队列（ConcurrentLinkedQueue）的算法思想，你可以直接阅读JDK的源代码，也许你需要一些预备知识，例如unsafe类，你可以在这里（http://mishadoff.github.io/blog/java-magic-part-4-sun-dot-misc-dot-unsafe/）找到它的资料，源码的注释中也给出了算法的
pytorch 命令行运行_Pytorch使用分布式训练，单机多卡
weixin_42374582的博客
02-11 1217
pytorch的并行分为模型并行、数据并行左侧模型并行：是网络太大，一张卡存不了，那么拆分，然后进行模型并行训练。右侧数据并行：多个显卡同时采用数据训练网络的副本。一、模型并行二、数据并行数据并行的操作要求我们将数据划5分成多份，然后发送给多个 GPU 进行并行的计算。注意：多卡训练要考虑通信开销的，是个trade off的过程，不见得四块卡一定比两块卡快多少，可能是训练到四块卡的时候通信开销已经...
Pytorch 中 pin_memory 和 non_blocking 用法
即事多所欣 的博客
02-11 2238
Pytorch 中 pin_memory 和 non_blocking 为什么能够加速训练？
Pytorch中x.cuda(non_blocking=True)参数解释
bj_zhb的博客
06-03 4896
如果将数据迁移至 GPU 设备时使用默认设置，则表示该操作是同步的，即数据迁移完成后会阻塞主机的执行流程，直到所有数据都被成功加载到 GPU 上，然后才能继续执行后面的代码。函数的参数，数据迁移操作就会变成异步的，即数据开始被复制到 GPU 后，主机不需要等待它们全部被加载到 GPU 上，就可以继续执行其它操作，这样可以充分利用计算资源，减少程序执行时间。类创建了一个新的 CUDA 流，并在该流上执行了一些其它操作，从而确保这些操作不会与异步传输操作产生竞争关系，保证程序正确性和性能表现。
cuda()和cuda(non_blocking=True)的区别
weixin_44655383的博客
08-30 2074
数据增广CPU运行cuda()和cuda(non_blocking=True)的区别二级目录三级目录 cuda()和cuda(non_blocking=True)的区别 .cuda()是为了将模型放在GPU上进行训练。 non_blocking默认值为False 通常加载数据时，将DataLoader的参数pin_memory设置为True（pin_memory的作用：将生成的Tensor数据存放在哪里），值为True意味着生成的Tensor数据存放在锁页内存中，这样内存中的Tensor转义到GPU的显存
non_blocking=True 与 torch.cuda.synchronize()
最新发布
MOL
06-22 662
GPU和CPU之间是异步执行的，CPU向GPU下达指令以后会立刻执行之后的代码，CPU不会等待GPU执行完成。
non_blocking参数的设置。
AI浩
05-29 4241
问题： images.cuda(non_blocking=True)，target.cuda(non_blocking=True)把数据迁移到GPU里面； nn.DataParallel(model.to(device), device_ids=gpus, output_device=gpus[0])包装模型。 images.cuda(non_blocking=True)为何要设置参数non_blocking=True呢？ 解释：non_blocking默认值为False, 通常我们会在加载数据时，将Dat
PyTorch中的CUDA操作
虚幻私塾
08-24 3667
CUDA(Compute Unified Device Architecture)是NVIDIA推出的异构计算平台，PyTorch中有专门的模块torch.cuda来设置和运行CUDA相关操作。
pytorch 训练过程acc_PyTorch分布式训练简明教程
weixin_33055757的博客
01-16 1318
神经网络训练加速的最简单方法是使用GPU，对弈神经网络中常规操作(矩阵乘法和加法)GPU运算速度要倍超于CPU。随着模型或数据集越来越大，一个GPU很快就会变得不足。例如，BERT和GPT-2等大型语言模型是在数百个GPU上训练的。对于多GPU训练，需要一种在不同GPU之间对模型和数据进行切分和调度的方法。PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。Pyto...
pytorch 驱动不兼容_PyTorch 疑难杂症
weixin_42378094的博客
02-11 889
作为个人笔记使用，持续更新ing，记录在PyTorch使用中遇到过的各种问题和解决方法，如果有幸有看官的话，欢迎留言，共同进步。installation problemsconda 清华镜像conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add ch...
pytorch源码分析之torch.utils.data.Dataset类和torch.utils.data.DataLoader类
热门推荐
Never-Giveup的博客
10-24 3万+
写在之前 介绍 Pytorch深度学习框架优势之一是python优先，源代码由python代码层和C语言代码层组成，一般只需要理解python代码层就可以深入理解pytorch框架的计算原理。所以学习pytorch源码需要熟练掌握python语言的各种使用技巧。 在处理任何机器学习问题之前都需要数据读取，并进行预处理。Pytorch提供了许多方法使得数据读取和预处理变得很容易。 torch.ut...
阻塞（Blocking）和非阻塞（Non-Blocking）
面朝大海
08-16 1万+
阻塞和非阻塞通常用来形容多线程间的相互影响。比如一个线程占用临界区资源，那么其它所有需要这个资源的线程就必须在这个临界区中进行等待，等待会导致线程挂起。这种情况就是阻塞。此时，如果占用资源的线程一直不愿意释放资源，那么其它所有阻塞在这个临界区上的线程都不能工作。         非阻塞允许多个线程同时进入临界区
non-blocking,blocking
weixin_30405421的博客
05-20 162
1.non-blocking是时序逻辑; 一般三要素: always; 变量对时钟边沿敏感posedge,negedge; 语句中使用<=赋值; 2.blocking是组合逻辑; 三要素: always; 变量对电平敏感posedge,negedge; 语句中使用=赋值; 真哦哦无双总结的好,blocking相当于软件,如51中的语句一行一行依序執行;而Non-blocking相当于硬...
NoC（Network on Chip）基础 (4)：Non-Blocking(Circuit Switch)Network——Crossbar 和 Clos
yang1573的博客
01-09 3017
介绍 NoC（Network on chip）中的 Non-Blocking 网络，即 Circuit-Switch 网络。并介绍了其中 Crossbar 和 Clos 两个 Non-Blocking 网络的例子。
关于non-blocking
mspolo的专栏
03-02 410
关于Blocking IO, Non-Blocking IO 和 Asynchronous I/O的理解 http://www.cnblogs.com/whyandinside/archive/2012/03/04/2379234.html
Pytorch 中的 non_blocking
Z2572862506的博客
01-18 421
Pytorch 中的 non_blocking
Node.js官方文档：到底什么是阻塞(Blocking)与非阻塞(Non-Blocking)？
weixin_33896726的博客
06-12 361
译者按： Node.js文档阅读系列之一。 原文: Overview of Blocking vs Non-Blocking 译者: Fundebug 为了保证可读性，本文采用意译而非直译。 这篇博客将介绍Node.js的阻塞(Blocking)与非阻塞(Non-Blocking)。我会提到Event Loop与libuv，但是不了解它们也不会影响阅读。读者只需要有一定的JavaScript基...
阻塞与非阻塞赋值
华清远见 | 程序员的学习天堂
07-06 2040
作者：李秋凤，华清远见嵌入式学院讲师。稍微接触过Verilog HDL的都对阻塞与非阻塞赋值略知一二，也是我们经常强调的重点之一，在课堂上还是有学员问什么不一样呢，为什么我用阻塞赋值也能得出正确的结果呢？在编写可综合代码的时候，建议大家不要忘了打开RTL网表查看器看看我们自己综合出来的电路是不是自己想要的逻辑。我就阻塞与非阻塞赋值这个问题详细说明一下。1、连续赋值连续赋值语句的
Pytorch学习（九）Pytorch中CPU和GPU的Tensor转换，Tensor和ndarray的转换及.cuda(non_blocking=True)的作用
qq_37297763的博客
05-11 1万+
1. 设置训练模型的GPU设备的方式 device = torch.device("cuda:1" ) model = model.to(device) 2. CPU和GPU上Tensor的比较 该部分参考自来自达摩院大神的讲解 PyTorch中的数据类型为Tensor，Tensor与Numpy中的ndarray类似，同样可以用于标量，向量，矩阵乃至更高维度上面的计算。PyTorch中的tensor又包括CPU上的数据类型和GPU上的数据类型，一般GPU上的Tensor是CPU上的Tensor加cuda(
PYTORCH_CUDA_ALLOC_CONF怎样设置
05-04
`PYTORCH_CUDA_ALLOC_CONF` 是一个环境变量，用于设置 PyTorch 在 GPU 上分配内存的配置。它允许用户在 PyTorch 分配 GPU 内存时指定一些参数，以优化内存使用和性能。 设置 `PYTORCH_CUDA_ALLOC_CONF` 的方法如下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值