pytorch 深度学习， CPU预处理时间大于GPU网络处理时间、数据增强

最新推荐文章于 2024-09-15 17:06:55 发布
最新推荐文章于 2024-09-15 17:06:55 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： pytorch 文章标签： 数据增强 数据扩增 性能分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29007291/article/details/84782909
版权

背景：想知道训练网络时，时间花在了哪.

做了一个性能分析，关于训练网络时的时间消耗问题。
1.电脑： i7-6700，1070 ti
2.tiny-YOLO_v1(9层) ，
3.预处理包括随机平移，缩放，Hue，Saturation等

结果

batch-size = 18时， 一个batch平均用时：
image 加载和预处理 : 0.4849s；
网络前向+损失计算+后传用时：0.04308s

结论

1.网络过小时， CPU和GPU用时比例不合理，可能需要更大的网络才能合理利用GPU
2.需要处理器的性能很强才行
3.预处理部分不知道能不能在GPU上运行

冬日and暖阳
关注
专栏目录
BERT-TensorFlow预处理create_pretraining_data太慢的解决方法
亓官劼的博客
02-18 1577
BERT-TensorFlow预处理create_pretraining_data太慢的解决方法   大家好，我是亓官劼（qí guān jié ），在【亓官劼】公众号、CSDN、GitHub、B站、华为开发者论坛等平台分享一些技术博文，主要包括前端开发、python后端开发、小程序开发、数据结构与算法、docker、Linux常用运维、NLP等相关技术博文，时光荏苒，未来可期，加油~   如果喜欢博主的文章可以关注博主的个人公众号【亓官劼】(qí guān jié)，里面的文章更全更新更快。如果有需要
【pytorch】用cuda（GPU）处理数据
一起来学深度学习鸭的博客
10-27 712
考虑到各种运算只能在cpu或者gpu运算，不能混和运算，本文介绍常用的几种把数据挪到gpu或者直接在gpu创建数据再进行运算的方法。
深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
qq_41568188的博客
06-02 5891
在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。** GPU内存占用率问题 这往往是由于模型的大小以及batch size的大小，来影响这个指标。当你发下你的GPU占用率很小的时候，比如40%，70%
如何精确统计Pytorch模型推理时间
最新发布
霹雳吧啦Wz
09-15 1581
通过上面的代码示例可以看到，通过同步函数统计的时间和Event方法统计的时间基本一致（差异1ms内）。通过终端输出可以看到，如果直接在模型推理前后打时间戳相减得到的时间非常短（因为并没有等待Device侧计算完成）。下面示例代码中分别给出了直接在模型推理前后打时间戳相减，使用同步函数以及Event方法统计模型推理时间（每种方法都重复50次，忽略前5次推理，取后45次的平均值）。通过终端打印的结果可以看到无论是使用同步函数还是Event方法统计的model1、model2的推理时间基本是一致的。
pytorch训练项目记录时间
qq_40671063的博客
10-29 5021
pytorch训练项目记录时间
pytorch GPU 计算比 CPU 还慢的可能原因
weixin_44590417的博客
06-20 7043
pytorch GPU 计算比 CPU 还慢的可能原因。
pytorch深度学习入门（15）之-使用onnx模型量化
ajunbin859的专栏
11-17 945
让我们使用 U8U8 作为 (activations ：uint8，权重：uint8），U8S8（激活：uint8，权重：int8），类似地S8U8和S8S8用于其余两种格式。该问题的解决方案是将原始计算图的权重和激活张量与量化图的权重和激活张量进行比较，确定它们最大的不同之处，并避免量化这些张量，或者选择另一种量化/校准方法。动态量化和静态量化之间的主要区别在于如何计算激活的尺度和零点。然而，量化过程中的模型优化给调试过程带来了困难，因为它可能会显着改变计算图，导致量化模型与原始模型截然不同。
【Python深度学习】零基础掌握Pytorch数据集与数据加载器
Mr数据杨
11-21 191
如果有自己的数据，可能需要创建一个自定义的数据集。这听起来很高大上，但其实就是定义一个类，告诉程序怎么读取数据。import os有时，标准的数据集和数据加载器可能无法满足的需求。可以通过继承Dataset类来创建自定义的数据加载器。这提供了极大的灵活性，允许按照自己的需求来处理数据。# 初始化等方法...# 自定义获取数据的方法...经过这篇博客的学习相信对深度学习中的数据处理有了一个全新的认识。
学习笔记：深度学习（4）——卷积神经网络（CNN）PyTorch实践篇
Morganfs的博客
04-14 3842
小白PyTorch超快上手，采用CNN做了一个手写数字识别，一个MINST手写数字预测，以及尝试了Kaggle的Spaceship Titanic案例。
神经网络与深度学习（二） pytorch入门——张量
weixin_53651790的博客
09-05 1771
pytorch——张量学习记录
[二十九]深度学习Pytorch-图像分割Unet
yanzhiwen2的博客
04-15 2677
深度学习Pytorch-图像分割Unet
解决pytorch中Dataloader读取数据太慢的问题
Twilightzsj的博客
04-03 1万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、造成的原因二、查找不匹配的原因三、解决方法四、使用方法后言 前言 最近在使用pytorch框架进行模型训练时遇到一个性能问题，即数据读取的速度远远大于GPU训练的速度，导致整个训练流程中有大部分时间都在等待数据发送到GPU，在资源管理器中呈现出CUDA使用率周期性波动，且大部分时间都是在等待数据加载。 一、造成的原因 其实从前言中就可以知道，造成这样的原因可以理解为：GPU的算力与数据加载速度之间的不匹配。 二、查找不.
Pytorch 尝试通过强化cpu使用加快训练和推理速度（一）
qq_36401512的博客
01-25 5168
目标:pytorch不管是训练还是推理时。cpu的使用率基本只有10%左右，尝试更好的利用cpu来加快训练和推理。 1.在搜索资料时很多作者都提到了python的GIL问题，这边先了解下这个机制直接从例子入手。 本机的cpu是i5-4460 4核4线程 先参考涤生手记的清晰讲述，本实验用的是python3.5故修改下代码。（ Python 3.2开始使用新的GIL。在新的GIL实现中其他线程请求这个锁的时候，当前线程就会在5ms后被强制释放掉这个锁。） GIL锁的释放机制： Python解释器..
pytorch图片读入预处理的方法
Briwisdom的博客
11-24 1897
pytorch训练前将自己的数据处理成模型需要的数据格式，定义自己的数据集都必须继承torch.utils.data的Dataset类，并重写其中三个关键的默认成员函数。 使用类 torch.utils.data.Dataset这个类，这个类中有，__init__,__len__,__getitem__。 __init__类实例化应用，所以参数项里面最好有数据集的path，或者是数据以及标签保...
【pytorch实战】用pytorch实现基于迁移学习的图像分类
Adrianna的专栏
03-26 4476
reference: https://stackabuse.com/image-classification-with-transfer-learning-and-pytorch/#visualization https://pytorch.org/tutorials/intermediate/tensorboard_tutorial.html#writing-to-tensorboard h...
【pytorch学习】 图片数据集的导入和预处理
Adrianna的专栏
12-23 8149
pytorch提供了一个很方便的类torchvision.datasets.ImageFolder用于读取文件夹中的图片数据。我们只要把文件夹中的图片文件按照以下规则存放： root/dog/xxx.png root/dog/xxy.png root/dog/xxz.png root/cat/123.png root/cat/nsdf3.png root/cat/asd932_.png 通过Ima...
深度学习训练时GPU利用率忽高忽低问题
OO
05-27 1万+
gpu利用率经常在0-99%之间跳动，找了一圈原因，可能是以下几点： 1.数据预处理：CPU预处理太长，GPU空闲跟不上 解决办法： 可能是读数据或者数据预处理的时间过长，读数据部分可以尝试把全部或者部分数据放在内存，也可以放固态上。 数据预处理部分有些变换是否可以固定，假如是图像数据，有些resize或者padding的操作是否可以离线处理好。 适当调整dataloader读数据的线程数 pin_memory=4/8。 ...
pytorch 正确的测试时间的代码 torch.cuda.synchronize()
热门推荐
u013548568的博客
08-02 4万+
1、 start = time.time() result = model(input) end = time.time() 2、 torch.cuda.synchronize() start = time.time() result = model(input) torch.cuda.synchronize() end = time.time() 一共上述两种测试时间的方式，正确的方式是...
pytorch统计模型参数量
u013517182的博客
08-24 6160
用resnet50 来举例子 print("resnet50 have {} paramerters in total".format(sum(x.numel() for x in resnet50.parameters()))) 其中numel表示含有多少element，通过此操作可以统计模型的参数量有多少 另外，两个是一样的，方便debug看其中到底有什么东西 ...
PyTorch深度学习系列：Pandas数据预处理缺失值处理
资源摘要信息:"本资源是一系列关于深度学习与PyTorch框架结合Python语言进行数据预处理的文章中的部分代码，重点在于如何使用pandas库处理数据中的缺失值。本文提到的深度学习系列文章不仅涉及PyTorch的实际应用，还...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值