Pytorch 加速读取数据之 prefetch_factor

最新推荐文章于 2025-03-13 09:39:49 发布
最新推荐文章于 2025-03-13 09:39:49 发布
阅读量1.4w 收藏 14
点赞数 4
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/loovelj/article/details/116499411
版权
博客分享了提高GPU训练效率的两种方法。一是利用NVIDIA DALI模块加速数据预处理，通过并行处理减少训练延迟。二是升级PyTorch到1.7以上版本，利用新增的`prefetch_factor`参数，预先加载更多批次的数据，显著缩短数据读取时间，提高显卡利用率。作者实测将加载时间从3s降至0.5s，效果明显。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近使用四卡训练图片，发现总有卡的效率突变到0，大致就是在读取以及处理数据了
怎么能加速读取呢？一个方法是用NVIDIA的DALI模块，可以加速，具体可以参考 英伟达DALI加速技巧：让数据预处理速度比原生PyTorch快4倍
主要就是通过并行训练和预处理过程，减少了延迟及训练时间
在这里插入图片描述

但是今天我发现一个更简单的方法
就是升级pytorch到1.7以上，目前是1.8.1，最好的1.8.1吧
为什么会这么说呢，因为在dataloader中加入了一个参数 prefetch_factor，这个就是提前加载多少个batch的数据，具体更改看github ，具体说如下，现在默认prefetch_factor =2 ，就是意味着预先加载 prefetch 2 * num_workers 个data

fix #40604
Add parameter to Dataloader to configure the per-worker prefetch number.
Before this edit, the prefetch process always prefetch 2 * num_workers data items, this commit help us make this configurable, e.x. you can specify to prefetch 10 * num_workers data items

我在我这里试了一下，升级以后，有从3s到0.5s，速度还是很明显的，而且显卡利用率都上来了。大家可以自己试试~

pytorch 数据的读取
qq_40107571的博客
09-01 1901
pytorch 数据装载器dataloader ,以及超分辨率dataset的常规定义
PyTorch数据集与数据集加载
最新发布
2503_91044785的博客
05-04 272
过滤掉None样本。
Pytorch Dataloader参数补充篇（collate_fn、pin_memory、dorp_last、prefetch_factor、persistent_workers）
gy77
08-07 2140
如果不为None，那么在设定随机种子后，数据加载前，这个函数会在每个子进程上调用，并把子进程id作为输入（一个在[0, num_workers - 1]的整数），默认为None。数据预处理过程中出现了问题:如果数据预处理函数(如collate_fn或自定义的数据转换函数)出现了错误或死循环,可能会导致数据加载器无法获取下一个数据批次。多进程/多线程数据加载时出现了死锁或竞争条件:当使用多进程或多线程加载数据时,如果出现了死锁或竞争条件,也可能导致数据加载器无法获取下一个数据批次。
pytorch中dataloader的prefetch_factor出错
horsetaill的博客
02-18 3486
可以看到报错信息是：prefetch_factor这个属性只有在num_workers大于0的时候才能被定义。但是我去看了看源码，很明显train源码中定义没有问题啊！然后我在github上的pytorch的issue中发现了有人提出了疑问。这是跑示例遇到的最后一个坑！
pytorch中的基础数据集
2301_79164062的博客
03-13 379
则会将数据样本在返回前固定到 CUDA 页锁定内存中，这样可以加快数据从 CPU 到 GPU 的传输速度，适用于使用 GPU 进行训练的场景，默认值为。，则在每个 epoch 结束后，工作进程不会被销毁，而是保持存活状态，这样可以减少进程创建和销毁的开销，提高数据加载效率，默认值为。在多进程数据加载时，工作进程会预先加载一定数量的样本，以提高数据加载的连续性。，则在每个 epoch 开始时打乱数据集的顺序，有助于模型更好地学习数据的分布，提高模型的泛化能力，默认值为。：指定多进程的上下文，可以是。
Pytorch DataLoader prefetch_factor pin_memory
码匀的博客
10-25 5204
dataset (Dataset) ：所加载的数据集。 batch_size (int, optional) ：每个批次加载多少个样本。 shuffle (bool, optional) ：如果为 True，则每个epoch 都会再打乱数据。 sampler (Sampler or Iterable, optional) ：定义了如何从样本采样的策略。可以是任何实现了 __len__的迭代器。 batch_sampler (Sampler or Iterable, optional) ：与sampler类.
pytorch 数据预加载
撒旦先生的博客
12-04 2386
本文介绍一个工具，它包装，接收该类的一个实例loader，启动一个线程t，创建一个队列qt将loader中的数据预加载到队列q中, 以在模型计算时也能启动启动数据加载程序, 节省数据加载时间。"""** 包装 torch.utils.data.DataLoader, 接收该类的一个实例 loader, 启动一个线程 t, 创建一个队列 qt 将 loader 中的数据预加载到队列 q 中, 以在模型计算时也能启动启动数据加载程序, 节省数据加载时间。
pytorch conv2d计算shape,prefetch_factor提速，提高显卡利用率
power的专栏
05-31 592
W×WF×F。
pytorch使用data_prefetcher提升数据读取速度
Mr_health的博客
02-09 5498
直接给出代码： class data_prefetcher(): def __init__(self, loader): #loader 1：real #loader 2：fake self.stream = torch.cuda.Stream() self.loader = iter(loader) self.preload() def preload(self): try:
【PyTorch与深度学习】5、深入剖析PyTorch DataLoader源码
随手写写
05-01 1500
最近做实验发现自己还是基础框架上掌握得不好，于是开始重学一遍PyTorch框架，这个是课程笔记，此节课很详细，笔记记的比较粗。
pytorch基础-数据集导入
gudao07的博客
11-14 3762
pytorch的数据导入，包括dataset,tensorboard,transform,dataloder等
PyTorch DataLoader 学习
刘念卿的博客
07-10 4754
首先定义一个数据集类，该类需要继承自并实现__len__和方法。# 创建一些示例数据data = torch.randn(100, 3, 64, 64) # 100个样本，每个样本为3x64x64的图像labels = torch.randint(0, 2, (100,)) # 100个标签，0或1如果需要自定义如何将样本合并为批次，可以定义自己的collate_fn函数。collate_fn处理变长序列：在处理变长序列或不规则数据时，自定义collate_fn函数，确保每个批次的数据能够正确合并。
pytorch cv2 pil读取图片测试模型，数据加变量Variable,在GPU上加速处理
m0_37192554的博客
11-26 2760
def cv2img_process(img): ####分类图片预处理， img = one_img(img)#add pad white resize 224 assert (img.shape[0]==224 and img.shape[1]==224),"img not resize 224" mean = [0.485, 0.456, 0.406]...
【pytorch】给训练踩踩油门-- Pytorch 加速数据读取
Shwan_ma的博客
12-01 4619
本文转载于 https://zhuanlan.zhihu.com/p/80695364 训练模型的时候有时候会发现显卡的占用一直跑不满，会很浪费，往往是因为IO瓶颈导致的训练速度降低。 本文可以从以下几个方面进行对模型加速： 一, prefetch_generator 使用 prefetch_generator 库在后台加载下一 batch 的数据。 安装： pip install prefet...
02_pytorch中的DataLoader
chumingqian的博客
08-31 2621
sampler 是用来定义取batch方法的一个函数或者类，返回的是一个迭代器。我们可以看下自带的RandomSampler类中最重要的iter函数。
pytorch dataloader_简单两步加速PyTorch里的Dataloader
weixin_39518002的博客
11-25 1306
PyTorch中通过Dataloader加载图片，使用十分方便。但当加载图片较多并且需要做较多变换时，加载的速度很慢，会出现加载数据过慢（即使已经使用了多个worker），GPU空闲等待数据加载的情况。这篇文章就和大家分享一下怎么给Dataloader提提速。1、读取jpg图片加速加载数据慢的一个很重要的原因的读取图片本身就比较慢，尤其是jpg图片解码更是耗时。如果你是读取jpg图片的话建议使用j...
pytorch数据加载-DataLoader
君莫笑
04-28 1698
torch.data
torch的DataLoader 浅析
热门推荐
robator的专栏
12-29 1万+
torch的DataLoader主要是用来装载数据，就是给定已知的数据集，把数据集装载进DataLoaer，然后送入深度学习网络进行训练。先看一下它的声明吧。（官方声明，pytorch 1.10.0文档，参考资料1） DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memor...
Pytorch学习笔记
qq_58551342的博客
05-26 728
一般而言，描述Tensor的高维特性通常用三维及以上的矩阵来描述，例如下图所示：单个元素叫标量（scalar），一个序列叫向量（vector），多个序列组成的平面叫矩阵（matrix），多个平面组成的立方体叫张量（tensor）。损失函数（loss function）就是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数，它是一个非负实值函数，通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。就是一个网页UI界面的作图工具，可以以可视化的形式更好的分析图片、函数等数据。
torch.utils.data.DataLoader是的utils是什么意思
01-13
### PyTorch DataLoader 中 `utils` 的意义 在 PyTorch 框架内，`torch.utils.data.DataLoader` 是用于高效加载数据的核心组件之一。其中的 `utils` 主要指的是辅助工具模块，这些工具旨在简化并优化数据处理流程。 #### 辅助功能解析 - **数据预取 (`prefetch_factor`)** 数据预取机制允许在多线程环境下提前准备下一个批次的数据，从而减少等待时间，提高训练效率[^4]。 - **多进程加载 (`num_workers`)** 设置此参数可启用多个子进程来并发读取数据，显著加快 I/O 密集型操作的速度。对于大规模数据集尤其有用[^3]。 - **批量化 (`collate_fn`)** 自定义函数用来控制如何将单个样本组合成一批次。这对于处理变长序列或其他复杂结构化输入非常重要。 - **采样策略 (`sampler`)** 定义了从整个数据集中抽取特定子集的方式，支持随机抽样、加权抽样等多种模式[^5]。 通过集成上述特性，`utils` 提供了一套完整的解决方案，使得开发者能够灵活配置适合具体应用场景的数据流管道。 ```python from torch.utils.data import DataLoader, Dataset class CustomDataset(Dataset): def __init__(self, data, labels): self.data = data self.labels = labels def __len__(self): return len(self.data) def __getitem__(self, idx): sample = {'data': self.data[idx], 'label': self.labels[idx]} return sample dataset = CustomDataset(data=[1, 2, 3, 4], labels=['a', 'b', 'c', 'd']) dataloader = DataLoader( dataset, batch_size=2, shuffle=True, num_workers=0, # 单线程示例 prefetch_factor=2, collate_fn=lambda x: {key: [d[key] for d in x] for key in x[0]} # 批量处理逻辑 ) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值