pytorch相关函数在代码运行时速度超慢

最新推荐文章于 2024-05-20 10:25:10 发布
最新推荐文章于 2024-05-20 10:25:10 发布
阅读量511 收藏
点赞数
文章标签： pytorch 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kang910042009/article/details/128326819
版权

pytorch相关函数在代码运行时速度超慢

最近在使用pytorch训练网络时遇到了一个很奇怪的问题。
我生成了一个(90000, 4, 4)的矩阵，然后调用torch.det()和torch.svd()，结果电脑直接卡住。
将矩阵大小减少到(10000, 4, 4)的时候也花费了近4秒才完成计算。
但是在命令行中使用torch.rand(90000, 4, 4)生成随机矩阵测试运行速度是正常的。
经过检查我自己的矩阵元素一切正常，没有奇异的情况。
尝试使用torch.save()保存到本地，然后在命令行中读取并使用pytorch计算，结果速度仍然很慢。
最后灵光一闪，发现测试数据是在cpu上的，我的代码是在gpu上的。
于是在代码中加入了.cpu()并运行，结果速度正常。
猜测是空余显存不够，pytorch并行效率下降导致的。
如果显存不太够用的情况下，有些计算步骤还是使用cpu计算吧

kang910042009
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
pytorch-center-loss：Pytorch实现中心损失
02-05
开始吧克隆此仓库并运行代码$ git clone https://github.com/KaiyangZhou/pytorch-center-loss$ cd pytorch-center-loss$ python main.py --eval-freq 1 --gpu 0 --save-dir log/ --plot 您将在终端中看到以下信息...
python pth文件是什么_嫌python慢？来这里用pytorch C++前端推理模型
weixin_39788051的博客
11-21 353
本文面向对象是立足于工业应用领域的AI学习者，希望学以致用的同学们可以深入看这篇文章，我一直认为学而不用就是搞八股文，现实中很多模型很fancy指标很溜但实际上是根本用不了的.很多时候python用来训练模型很方便的，但是用来推理就显得捉襟见肘了. 其实在我看来，慢不是python的问题，各种乱七八糟的脚本才是最大的烦恼之处。相比之下，我更希望我们的人工智能网络模型能够以一个二进制文件的形式运行。...
(14)关于PyTorch训练深度学习模型CPU/GPU使用率低，训练速度慢这一问题的总结
weixin_40227656的博客
08-16 9980
电脑配置双2080Ti+i7-10700K，使用mobilenet-yolov4-lite训练VOC数据集时，训练100epochs要五六个小时，检测cpu和gpu的使用发现利用率都很低，说明没有充分使用电脑优秀的性能，两个显卡的使用率都分别只有20%-50%，查阅一些资料总结如下： １、参考：【深度学习】踩坑日记：模型训练速度过慢，GPU利用率低 上面作者指出四个提速技巧： 减少日志IO操作频率 使用pin_memory和num_workers 使用半精度训练 更好的显卡，更轻的模型 其中，第
模型每回合训练时间太久torch.save如何隔一段时间就保存，定时保存，或者手动点击保存，手动保存
qq_59893890的博客
04-19 312
方法二：简单粗暴最好用，利用文件，每次在train里读取文件is_save.json初始内容如下data={"is_save":false}，然后可以在建一个py文件（值得一提的是pycharm可以同时运行多个py文件）来进行写保存data={"is_save":true}，如果手动的话太慢可能导致文件被打开中train打不开情况。save_flag = log_data.get("save_flag", false)#false表示读取失败返回false。记得在这里重新写入false不然会一直保存。
让PyTorch训练速度更快，你需要掌握这17种方法
Paper weekly
01-17 1755
作者｜LORENZ KUHN来源｜机器之心编译掌握这 17 种方法，用最省力的方式，加速你的 Pytorch 深度学习训练。近日，Reddit 上一个帖子热度爆表。主题内容是关于怎样加...
解决PyTorch训练速度慢。面对大数据集情况下，Dataloder pin_memory的作用
qq_41638841的博客
05-18 749
大数据集下，Dataloder使用pin_memory加速读取的一点见解
解决Android pytorch 调用python文件时numpy.array很慢
料理诗赋的博客
04-07 264
问题 今天在Android端调用python文件，然后发现调用python这一部分的代码很慢，甚至一度接近8s 最后发现python某一行的代码运行时间将近7s，如下所示： data=numpy.array(signals) //signals 是java调用python函数时传进去的数组 //data 是将signals转化为numpy的ndarray型数据 分析 问题出在传进去的参数 量大 且 类型不友善（需要转化为ndarray） 解决 先在调用python文件前，将参数数据利用java字符
服务器安装torch速度超级慢
失眠的树的博客
06-06 828
在九天服务器上配置需要的环境，需要安装1.8.1 GPU版本的torch。上面这几个命令输入之后出现卡死或者需要十几个小时等待时间。安装torchvision。安装torchaudio。使用豆瓣源进行分别下载。
PyTorch 中模型计算仍然比 CPU 慢的情况,通常有以下几个原因需要检查
weixin_45621026的博客
07-13 518
在 PyTorch 中模型计算仍然比 CPU 慢的情况,通常有以下几个原因需要检查:
损失函数 LDAM (详细代码，亲测可运行)
10-18
当训练数据集存在严重的类不平衡时，深度学习算法的表现可能会很差，但测试标准需要对不太频繁的类进行良好的泛化。 我们设计了两种新的方法来提高这种情况下的性能。首先，我们提出了一个理论上的标签分布感知边际...
pytorch_mixup:混合的PyTorch实现
05-15
混合的PyTorch实现 用法 $ python main.py --block_type basic --depth 110 --use_mixup --mixup_alpha 1 --outdir results CIFAR-10的结果 模型 测试错误（1次运行） ResNet-preact-56 w / Mixup alpha = 0.5...
卷积神经网络CNN火焰识别Pytorch训练代码 基于UFS-Net识别火焰白烟黑烟
08-09
# 卷积神经网络CNN火焰识别Pytorch训练代码 基于UFS_Net识别火焰白烟黑烟 本项目实现了训练UFS-Net模型用于火焰识别。UFS-Net是一个用于图像分类的神经网络模型，用于检测火焰、白烟和黑烟等烟雾类别。解压后下载...
pytorch_influence_functions:这是ICML2017最佳论文中对影响函数的PyTorch重新实现
05-07
当测试单个测试图像时，您可以然后计算哪些训练图像在分类结果上具有最大的结果。 因此，您可以轻松地在数据集中找到标签错误的图像，或将数据集稍微压缩为对您的单个测试数据集很重要的最具影响力的图像。 这样...
Pytorch每个Epoch开始时加载数据速度慢解决方法
a237072751的博客
05-05 5372
问题描述 Pytorch的Dataloader一般会设置多个worker加载数据以提升训练速度。然而，可以发现每个epoch开始的时候数据加载的耗时总会高一截，具体表现如图： 问题原因 正如Pytorch Forum这个讨论一样，DataLoader在每个epoch开始的时候都会重新创建一次，因此每个epocch开始所有的worker会重新开始prefetching过程，因此速度会变慢。 Solution 参考这里的代码, 可以用MultiEpochsDataLoader代替原来的DataLoade
torch 环境 训练后的参数比随机初始化的参数在CPU的推理速度慢
03-24 384
环境1：python2.7，torch0.2， 环境2：python3.6，torch1.0 在这两个环境下训练后的参数比随机初始化的参数在cpu上的推理速度慢。 随机初始化的参数在我的模型下推理速度：约2.9s 训练后的参数同样的模型推理速度：约6s多。同时表现出CPU利用率低。 查找了很久，没有找到原因。今天看到一个解释，备注一下 Trained weight s...
CPU上keras和pytorch训练速度比较(问题已解决）
qq_45759229的博客
05-07 920
我测试发现，keras在比较简单的网络上远比pytorch跑的要快的多，目前大致的猜测原因在读取数据部分，但是我还不知道怎么pytorch这个数据的读取速度，为什么都没有大佬发现这个问题呢？ mnist数据集读取 import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" import torch from torchvision import datasets, transforms import matplotlib.pyplot as plt import t
Pytorch代码基础—张量
xiaoxu的博客
05-14 673
pytorch的学习过程，应该在熟悉理论知识的基础上，结合官网文档和其他资料的基础上进行具体方法的时间，在时间的堆积，和项目的锻炼中才能进一步的提升熟练度。
【Pytorch】12.网络模型的加载、修改与保存
Elephant_King的博客
05-17 283
首先我们先自定义网络结构，并保存为.pth文件return x# 保存自定义网络这里需要注意，我们在新的文件加载这个网络模型时，不能直接通过进行加载，而是要先引入我们网络模型的类return x# 注意无法直接通过这条语句导入,需要先引入网络定义或者通过来导入我们的类信息# 注意无法直接通过这条语句导入,需要先引入网络定义。
深度学习之基于Pytorch+PyQt5+ResNet手写数字识别
最新发布
qq1744828575的博客
05-20 182
一、项目目标该项目的核心目标是开发一个能够准确识别手写数字的系统。通过使用Pytorch深度学习框架和ResNet神经网络架构，系统可以学习从手写数字图像中提取特征并进行分类，实现对手写数字的自动识别。二、项目组成深度学习模型：项目采用Pytorch深度学习框架构建基于ResNet的神经网络模型。ResNet（残差网络）是一种先进的神经网络架构，通过引入残差连接解决了深度神经网络在训练过程中可能出现的梯度消失或梯度爆炸问题，使得网络可以更加深入地学习数据的特征。
pytorch函数逼近代码实现，并计算运行时间，均差，总误差
07-24
下面是一个使用PyTorch实现函数逼近的简单示例代码： ```python import torch import time # 定义函数：f(x) = 2x + 1 def true_func(x): return 2 * x + 1 # 生成数据集 x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1) y = true_func(x) + torch.randn(x.size()) * 0.1 # 定义模型 model = torch.nn.Sequential( torch.nn.Linear(1, 10), torch.nn.ReLU(), torch.nn.Linear(10, 1) ) # 定义损失函数和优化器 criterion = torch.nn.MSELoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.01) # 训练模型 start_time = time.time() for epoch in range(1000): y_pred = model(x) loss = criterion(y_pred, y) optimizer.zero_grad() loss.backward() optimizer.step() end_time = time.time() total_time = end_time - start_time # 计算均差和总误差 with torch.no_grad(): y_pred = model(x) average_diff = torch.mean(torch.abs(y_pred - y)) total_error = torch.sum(torch.abs(y_pred - y)) print("运行时间：", total_time) print("均差：", average_diff.item()) print("总误差：", total_error.item()) ``` 在这个示例中，我们使用一个简单的线性函数f(x) = 2x + 1作为真实函数，并生成带有噪声的数据集。然后，我们使用一个包含两个线性层和一个ReLU激活函数的神经网络模型来逼近这个函数。我们使用均方误差损失函数和随机梯度下降优化器进行训练。最后，我们计算运行时间、均差和总误差。 请注意，这只是一个简单的示例，实际中可能需要更复杂的模型和训练过程来实现更准确的函数逼近。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值