PYTORCH调优笔记

最新推荐文章于 2024-04-23 23:21:34 发布
最新推荐文章于 2024-04-23 23:21:34 发布
阅读量437 收藏
点赞数
分类专栏： 自己笔记 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duoduocraft/article/details/109767943
版权
本文探讨了PyTorch中DataLoader的参数num_workers和pin_memory对训练速度的影响，以及不同batch_size对GPU显存和训练效率的平衡。实验表明，在特定硬件环境下，pin_memory=True可能导致速度减慢，而合适的batch_size可以有效解决显存问题。
摘要由CSDN通过智能技术生成

PYTORCH调优笔记

实验环境（i59400，1660Ti，32内存，2t固态）GPU模式
实验：SCNN做十分类

DataLoader(train_data, batch_size=batch_size, shuffle=True, drop_last=True,num_workers=4)

num_workers，pin_memory

batch_size=32
num_workers=4，pin_memory=False
单个batch时间：17.51min
num_workers=4，pin_memory=True
单个batch时间：20.20min
num_workers=0，pin_memory=False
单个batch时间：16.26
num_workers=0，pin_memory=True
单个batch时间：20.08

算上计时误差（-30s，+30s），结论是pin_memory=True在当前硬件环境下降速了，并不是像想象中那样将Dataloader的pin_memory设置为True可以将Tensor放入到内存的锁页区，加快训练速度。
（并且pin_memory=True情况下，cpu使用率到了100%（明显变高，False情况下为40%），cuda使用率到了56%（False情况下为57%））

dataloader里面的多线程读取数据一般打开设置一个合适的数值加速还是比较明显的，这里效果不是很明显，本实验设备为4核，8逻辑处理器

Pytorch中，将Dataloader的pin_memory设置为True会提高训练速度吗？.

batch_size

最低0.47元/天 解锁文章
Duoduocraft
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Pytorch学习笔记——过拟合、欠拟合及其解决方案
01-20
验证数据集是从训练数据中分离出来的一小部分，用于在模型训练过程中调整超参数，避免直接使用测试集进行调优导致的过拟合。而K折交叉验证则是通过反复分割数据，确保每个子集都有机会作为验证集，从而更全面地评估...
pytorch之pin_memory=True
qq_17755303的博客
01-14 3869
https://pytorch.org/docs/stable/data.html?highlight=pin_memory#memory-pinning 对于“锁页”内存的介绍： https://en.wikipedia.org/wiki/Virtual_memory#Pinned_pages 对于pytorch中该参数的作用的相关内容: https://discuss.pytorch.org/t/when-to-set-pin-memory-to-true/19723 多说一点: 事情起因，同事给的py
RuntimeError: Pin memory thread exited unexpectedly
weixin_45686244的博客
09-17 3600
训练神经网络时修改num_worker时候出现如下报错：RuntimeError: Pin memory thread exited unexpectedly。在保持num_worker大于0的情况下已解决。
使用VGG网络训练发生错误RuntimeError: CUDA out of memory解决方案:
算法与编程之美
01-27 996
问题在使用VGG网络训练Mnisist数据集时，发生错误RuntimeError: CUDA out of memory. Tried to allocate 392.00 MiB (GPU 0; 2.00 GiB total capacity; 1.45 GiB already allocated; 0 bytes free; 1.47 GiB reserved in total by PyTo...
从零开始Pytorch深度学习-数据封装
weixin_43507744的博客
05-17 1489
数据封装 深度学习整个的过程由几个模块组成：数据封装->模型定义->损失函数，优化器定义->训练函数定义 这部分主要讲数据封装： 我们以图片分类为例，图1为文件的结构（5种花） 图1 我们的绝对路径是：F:\pythonProject\blog\flower_photos 我们先设计一个函数，用来提取该路径下的所有图片，对应的标签（0-4对应5种花的类别）。 def read_split_data(root: str, val_rate: float = 0.2):
d2l-zh-pytorch-sagemaker:为SageMaker自动生成的d2l-zh PyTorch笔记本
03-19
4. **模型训练**：训练循环的实现，包括优化器的选择、损失函数的定义以及模型的验证与调优。 5. **模型部署**：介绍如何将训练好的模型部署到SageMaker上，以便进行生产环境的应用。 6. **SageMaker特性**：如如何...
深度学习与PyTorch入门学习教程.txt打包整理.zip
03-05
这个"深度学习与PyTorch入门学习教程.txt打包整理.zip"文件可能包含一系列教程或笔记，涵盖了以上提到的各个知识点，帮助初学者逐步掌握深度学习和PyTorch的基础。通过阅读和实践其中的内容，你将能够系统地学习和...
学习笔记
02-26
笔记可能涵盖了监督学习（如逻辑回归、支持向量机、决策树）、无监督学习（如聚类、降维）、强化学习，以及特征工程、模型评估和调优等方面。 深度学习（Deep Learning）是机器学习的一个子领域，主要使用多层神经...
GNNNote学习笔记
09-17
在Python中，实现GNN的库有很多，例如PyTorch Geometric（PyG）、TensorFlow-GNN和Stellargraph等。这些库提供了方便的接口来构建、训练和评估GNN模型。以PyG为例，你可以使用`torch_geometric.data.Data`类来创建图...
pytorch中的worker如何工作的
修行之路
11-25 4321
Question 一直很迷，在给Dataloader设置worker数量（num_worker）时，到底设置多少合适？这个worker到底怎么工作的？如果将num_worker设为0（也是默认值），就没有worker了吗？ worker的使用场景： rom torch.utils.data import DataLoader train_loader = DataLoader(dataset=train_data, batch_size=train_bs, shuffle=True, num_wo
Pytorch Dataloder之num_workers(上篇：单进程加载器)
最新发布
gy77
04-23 927
3.2 先看_SingleProcessDataLoaderIter，单进程迭代器相比多进程迭代器整体逻辑会简单些，本文先讲单进程迭代器，后续会出一篇单独讲多进程迭代器。1. 在从dataloader中取数据时，先调用dataloader的__iter__方法，__iter__方法中，则会优先调用self._get_iterator()方法，返回一个迭代器的实例化对象。num_workers=1时，表示采用多进程方法加载数据，但是只有一个子进程，使用该子进程加载数据。
DataLoader的num_workers=0对训练有什么影响？如何弥补？可以通过增加训练的epoch弥补吗？...
weixin_42611177的博客
02-09 1918
PyTorch的DataLoader类中的num_workers参数表示数据读取时使用的线程数量。如果num_workers=0，则表示不使用多线程，数据读取和预处理都在主线程中进行。 在这种情况下，如果数据预处理时间过长，会导致训练的速度变慢。因此，可以通过设置num_workers>0来弥补，以并行地加速数据读取和预处理。 增加训练的epoch可以提高训练的精度，但不能弥补数据读取的速度...
pytorch DataLoader num_workers 出现的问题
weixin_42236288的博客
07-03 6万+
最近在学pytorch,在使用数据分批训练时在导入数据是使用了 DataLoader 在参数num_workers的设置上使程序出现运行没有任何响应的结果 ，看看代码 import torch #导入模块 import torch.utils.data as Data BATCH_SIZE=8 #每一批的数据量 x=torch.linspace(1,10,10) #定义X为 ...
调用DataLoader时采用num_workers＞0导致数据加载出现阻塞问题的解决方法
qq_43160985的博客
11-11 4758
本文仅就我在程序debug过程中遇到的数据加载阻塞问题寻找解决方法，不涉及原理性探究，文章内容源于网络搜索，仅作为工作记录，希望能对读者的debug有所帮助。 问题描述 测试程序时发现，当DataLoader函数中加载数据时线程数设定大于0时，程序会卡住，但当设定线程数为1（num_workers=0即将用主进程加载数据）时，程序能正常运行，但由于仅单线程的加载致使神经网络在训练时会花将近一半的时间在数据加载上。 解决方法 若运行环境为windows，可参看https://blog.csdn..
Java内存中的堆和栈
ZhaoSimonone的博客
05-04 418
本文介绍了Java内存中的堆和栈
Linux nohup、&、 2>&1是什么？
热门推荐
lovewebeye的专栏
10-03 8万+
基本含义 /dev/null 表示空设备文件 0 表示stdin标准输入 1 表示stdout标准输出 2 表示stderr标准错误 > file 表示将标准输出输出到file中，也就相当于 1>file 2> error 表示将错误输出到error文件中 2>&1 也就表示将错误重定向到标准输出上 2>&1 >file ：错误输出...
Pytorch dataloader中的num_workers (选择最合适的num_workers值)
hxxjxw的博客
08-09 2万+
num_workers是Dataloader的概念，默认值是0 如果num_worker设为0，意味着每一轮迭代时，dataloader不再有自主加载数据到RAM这一步骤（因为没有worker了），而是在RAM中找batch，找不到时再加载相应的batch。缺点当然是速度慢。 当num_worker不为0时，每轮到dataloader加载数据时，dataloader一次性创建num_worker个worker，并用batch_sampler将指定batch分配给指............
PyTorch DataLoader Num_workers-深度学习限速提升(pytorch系列-29)
peacefairy的博客
08-14 7530
PyTorch DataLoader num_workers Test - 加快速度 欢迎来到本期神经网络编程系列。在本集中，我们将看到如何利用PyTorch DataLoader类的多进程功能来加快神经网络训练过程。 加快训练进程 为了加快训练过程，我们将利用DataLoader类的num_workers可选属性。 num_workers属性告诉DataLoader实例要使用多少个子进程进行数据加载。默认情况下，num_workers值被设置为0，0值代表告诉加载器在主进程内部加载数据。 这意味着训练进
pin_memory=True/False
07-28
pin_memory参数可以设置为True或False。当pin_memory=True时，数据将被锁页在内存中，这有助于加速数据传输，特别是在使用GPU进行训练时。\[2\]然而，如果计算机的内存不足或系统卡顿，可以将pin_memory设置为False，以释放内存资源。\[1\]因为pin_memory的性能与计算机硬件有关，所以在默认情况下，pytorch将pin_memory设置为False，以适应更广泛的设备。\[3\] #### 引用[.reference_title] - *1* [RuntimeError: Pin memory thread exited unexpectedly 或 OSError: [Errno 9] Bad file descriptor 的解决...](https://blog.csdn.net/weixin_44025103/article/details/127697035)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [pytorch：参数pin_memory=True和non_blocking=True的作用](https://blog.csdn.net/Caesar6666/article/details/127283965)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [pytorch创建data.DataLoader时，参数pin_memory的理解](https://blog.csdn.net/tsq292978891/article/details/80454568)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值