pytorch 速度问题测试

已于 2023-02-27 10:23:37 修改
阅读量307 收藏
点赞数
分类专栏： python 文章标签： pytorch 深度学习 python
于 2023-02-18 13:00:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45759229/article/details/129099074
版权

今天我发现一个很奇怪的问题，就是我当样本量从200000增加到40万的时候，训练代码没有改动，但是pytorch的速度却突然增加了4倍不止，后面我发现这个速度的问题在于dataloader的创建方式上

如果采用

 myloader = DataLoader(dataset=myset, batch_size=batch_size, shuffle=True)

这个速度就会慢

但是如果采用

myloader = DataLoader(dataset=myset, batch_size=batch_size, shuffle=True,num_workers=4, pin_memory=True)

这个速度就会快2倍差不多，这个就和tensorflow里面的速度差不多了，这个值得注意，有时间可以单独测试一下，这里先记录一下

而且我发现，对于大数据集，尽量不要使用jupyter来跑结果，这个很有可能会出问题，应该直接使用.py来运行，这样不容易出问题的

我的心永远是冰冰哒
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch 加载模型 模型大小测试速度
jacke121的专栏
06-22 4662
直接加载整个模型 Pytorch保存和加载整个模型： torch.save(model, 'model.pth') model = torch.load('model.pth') Pytorch保存和加载预训练模型参数： torch.save(model.state_dict(), 'params.pth') model.load_state_dict(t...
pytorch 序列化性能测试
jacke121的专栏
11-22 2836
如果单张图片比，torch比opencv读写要快。但是数据量大了之后，也慢， 300张图片一起，遍历读取422ms 300个遍历反序列化106ms # coding='utf-8' import os import time from distributed.protocol import serialize, deserialize import cv2 import torch im...
pytorch模型调用和速度测试
山中有石为玉
05-30 6664
硬件： 1、测试模型：NIMA的pytorch版本 来源：https://github.com/truskovskiyk/nima.pytorch 模型：pretrain-model.pth 速度：平均一张图300ms左右 5.152941832318902 5.508232474792749 4.2969538709148765 5.8256916594691575 5.3...
gpu_profiling_pytorch:测试简单的pytorch代码的性能
03-19
gpu_profiling_pytorch 测试简单的pytorch代码的性能 实现分布式DataParallel以在多个节点上运行 使用Nsight Profiler进行性能分析
【PyTorch】使用Torch自带的工具进行性能分析
墨门
09-24 5917
Keywords: Flame FlameGraph Torch.autograd.profiler;
pytorch量化测试代码，mobilenetv2在cifar10速度测试
03-31
1、pytorch动态量化、静态量化、感知训练测试代码；
jetpack 安装pytorch 文档
05-10
2. **速度**：PyTorch利用GPU加速，显著提升了张量运算的速度，尤其适合处理复杂的深度学习任务。 3. **NumPy兼容性**：PyTorch提供与NumPy类似的接口，使得数据预处理和后处理工作变得更加直观和高效。 4. **社区...
PyTorch CNN 训练/测试/绘图 模块
05-15
该模块基于 PyTorch 实现。 如何使用该模块请看我的这篇文章：https://blog.csdn.net/raelum/article/details/124716176 该模块支持 CNN 的训练和测试，同时可绘制训练集/测试集的损失函数曲线，训练集/测试集的...
linux环境GPU版pytorch安装教程
最新发布
01-22
在Linux环境下安装GPU版PyTorch是一个涉及到多个步骤的过程，主要涵盖了Python环境的搭建、Anaconda的使用、PyTorch的版本选择与安装、CUDA和CuDNN的配置以及最终的测试验证。以下是对这些步骤的详细说明： 首先，...
pytorch入门自学文档内附代码包下载地址
06-25
在 PyCharm 中创建新项目时，可以选择已创建的 conda 环境，然后通过控制台导入 `torch` 并进行简单的测试，如打印 CUDA 版本和 PyTorch 版本，确保它们都正确安装。 `pip` 也是安装 PyTorch 的另一种方式，特别是...
pytorch 同步gpu
jacke121的专栏
11-16 2712
pytorch 同步gpu import torch a = torch.tensor([[1, 2, 3],[4, 5, 6]]) b = torch.tensor([[2, 2, 2], [3, 3, 3], [3, 3, 3], [3, 3, 3]]) a=a.to(b.device)
PyTorch 2.0 推理速度测试：与 TensorRT 、ONNX Runtime 进行对比
deephub
01-01 5217
我们使用 Nebuly 的开源库 Speedster 运行了一些推理测试，对于这个我们这个测试，Speedster 允许我们运行 TensorRT、ONNX Runtime，并将它们与 16 位和 8 位动态和静态量化相结合（仅用 2 行代码）。PyTorch 2.0 于 2022 年 12 月上旬在 NeurIPS 2022 上发布，它新增的 torch.compile 组件引起了广泛关注，因为该组件声称比 PyTorch 的先前版本带来更大的计算速度提升。
A100 显卡算力与pytorch不匹配
weixin_56759664的博客
07-25 535
原因：NVIDIA A100算力不同（架构不同），所以以前可以正常用的pytorch1.9, 换到了这个显卡机器就会报错。
win10+GTX1050+Pytorch-GPU+pip离线安装心得（克服清华源安装太慢）
qq_43365306的博客
02-05 1521
前言 提示：惠普暗影精灵2+win10+GTX1050用conda安装PytorchGPU环境。 一、基本认识 conda：一个管理虚拟环境管理安装包的平台，它可以生成一个单独的虚拟环境，可以给一个环境安装单独的包（这里这个包，就是压缩包，拿工具安装就会解压成文件夹，里面的函数，就是平时调用的库，比如平常写 from xx import xx，这里的from就是库。） 虚拟环境：可以理解为你的电脑单独开了一个小空间，这块小空间和其他的小空间互不打扰，单独运行程序时，这块小空间所可以依赖的库都是被co.
使用Pytorch测试cuda设备的性能（单卡或多卡并行）
梦马韶华
11-17 1450
`CUDA设备`泛指NVIDIA显卡 或 启用ROCm的AMD显卡（通常叫做仿冒CUDA） 使用Pytorch测试cuda设备的性能（单卡或多卡并行）
关于dataloader设置num_works和batchsize最佳方法
hirocyh的博客
05-16 4867
我是参照了这两个大佬的 1.dataloader合理设置num_works和batchsize https://blog.csdn.net/qq_41917697/article/details/114663331 2.Pytorch之DataLoader的num_works参数设置 https://blog.csdn.net/qq_41196472/article/details/106393994?utm_source=app&app_version=4.7.1&code=app_156
Pytorch Mac GPU 训练与测评
weixin_73136678的博客
02-01 3083
今天中午看到Pytorch的官方博客发了Apple M1 芯片 GPU加速的文章，这是我期待了很久的功能，因此很兴奋，立马进行测试，结论是在MNIST上，速度与P100差不多，相比CPU提速1.7倍。当然这只是一个最简单的例子，不能反映大部分情况。这里详细记录操作的一步步流程，如果你也感兴趣，不妨自己上手一试。
Pytorch 测试模型的推理速度
Ray Home
04-07 1251
【代码】Pytorch 测试模型的推理速度。
Pytorch CPU Tensor与GPU Tensor的运算速度对比测试
Hanlin的博客
12-24 4287
分别使用CPU和GPU进行Pytorch中的Tensor（张量）计算，测试Tensor在两种不同运算设备上的计算速度差异。 设备： 服务器：Dell EMC Power Edge R740 CPU：Intel Xeon Gold 5117 * 2 Memory：64G GPU：NVIDIA Tesla T4 16G * 1 Python Version：3.8 CUDA Version：11.4 Pytorch Version：1.9.0 分别使用三种不同尺寸的Tensor..
pytorch的gpu测试
12-04
为了测试PyTorch在GPU上的性能，首先需要确保安装了适当的CUDA驱动和cuDNN库。接着，可以使用以下代码来测试在GPU上运行PyTorch的性能： ```python import torch # 检查GPU是否可用 device = torch.device("cuda" ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值