pytorch 自定义forward loss运算cpu占用高 在gpu上加速

最新推荐文章于 2023-10-19 11:17:44 发布
最新推荐文章于 2023-10-19 11:17:44 发布
阅读量1.3k 收藏 2
点赞数 3
分类专栏： 深度学习 文章标签： pytorch 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38591130/article/details/125718477
版权

直接在gpu上定义tensor而减少cpu到gpu的copy!!!

问题

为了实现复杂的网络结构和损失函数，自定义forward和loss的计算，发现cpu占用很高，挂了几个训练就占满了所有cpu。
把运算都用.to(device)放到gpu上运算，发现还是cpu占用高，并且有更慢的趋势。用性能分析工具分析发现是aten::_to_copy aten::copy_cpu占用时间率高。

分析

为了验证是使用了.to(device)导致的，编写了程序，对比.to('cuda')和直接定义torch.tensor([],device='cuda')，发现torch.tensor([],device='cuda')时gpu利用率接近100%，而.to('cuda')gpu利用率还不到20%。

结论

直接在gpu上定义变量torch.tensor([],device='cuda')

cycyco
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
PyTorch-GPU加速实例
12-17
对于张量，如果它们在CPU上，`.cuda()`会将它们复制到GPU；如果已经在GPU上，则不会做任何操作。因此，你需要在代码中对所有需要在GPU上运行的张量调用`.cuda()`。 以下是一段使用GPU的代码示例： ```python ...
调用TorchVision中训练好的ResNet网络训练CIFAR10
qq_43620727的博客
01-24 3538
import torch import torchvision.datasets from matplotlib import pyplot as plt from torch.utils.data import DataLoader from torchvision.transforms import transforms import torch.nn as nn import imutils # 调用torchvision中的models中的resnet网络结构 import torchvisi.
分析您的 PyTorch 模块
yanglamei1962的博客
07-01 828
调度器背后的一般原理是将一个运算符的实现分为多个内核，每个内核都为特定的调度键实现功能；例如，CPU，CUDA 或 Autograd。调度器在您调用运算符时确定最高优先级的调度键是什么（这通过查看张量参数和某些线程本地状态来完成），并将控制权传递给内核以使用该调度键。最终结果是，当您调用运算符时，我们首先执行 Autograd 内核，然后根据传入的张量的设备类型将其重新分配到 CPU 或 CUDA 内核。让我们看一下实现这一目标所涉及的各个部分。首先，我们必须为所讨论的运算符定义架构。与简单的。
神经网络的训练
m0_37825506的博客
03-31 194
在一切准备妥当之后，我们就要开始训练神经网络了。首先，定义编码器和解码器实例，以及优化器、损失函数等部件。在这段代码中，重点是训练解码器的流程。注意有一个判断if use_teacher_forcing:，当这个变量为True的时候，采用标准的平行语料作为标签数据；当它为False的时候，则用解码器自己的输出预测结果作为下一个输入词，这两个过程非常不同。
Pytorch 占用cpu资源过多
凉_白开的博客
07-04 3231
pytorch进行一些AI的工作 其cpu占用量过高。 经过调试发现 主要是将数据从GPU下载到CPU上消耗资源比较高。遇到这个问题，限制一下线程数量就可以了； 这个方法改变CPU的占用量比较明显。
损失函数 Loss 设计和实现
李响
10-04 2035
pytorch中自带了一些常用的损失函数,它们都是torch.nn.Module的子类。因此自定义Loss函数也需要继承该类。在__init__函数中定义所需要的超参数，在forward函数中定义loss的计算方法。forward方法就是实际定义损失函数的地方，其返回值是一个标量（Scalar），而不是张量（Tensor）和向量（Vector）。也就是说如果张量或者向量的话，需要使用相关的函数将其转化为标量，例如使用torch.sum函数进行求和处理。损失函数分为经验风险损失函数和结构风险损失函数。
电脑配置初步理解
莫一丞元
09-07 549
前言 我们主要是为了利用GPU去训练，所以在配置主机时，我们主要是先选取GPU，然后需要注意的是计算好电源功率问题（主要是为了保证稳定性）。还有当使用多个显卡时，需要注意处理器和主板的选取。 一.主板 选主板最重要的是选择合适的主板芯片组，是主板最重要的部分，这关系到CPU是否和主板兼容。如下： 选择板型 要根据机箱的大小选择合适的板型。最常见的是ATX大板和M-ATX小板，大小板性能几乎没有差距，仅扩展性有差别。 选择主板品牌 二.CPU 中央处理器，现如今分intel（英特尔）和A
GPU计算对比CPU计算快多少（Pytorch代码和数据）
03-13
通过比较在CPU和GPU上的运行时间，我们可以得出结论：在PyTorch中，使用GPU进行深度学习计算通常可以显著减少训练时间，尤其是在大型模型和大数据集上。 然而，值得注意的是，GPU的加速效果受到多个因素的影响，...
详解Pytorch 使用Pytorch拟合多项式(多项式回归).pdf
04-15
值得注意的是，如果硬件支持GPU，PyTorch允许我们将模型和数据转移到GPU上加速计算。`Variable`用于创建具有自动求导功能的张量，这在训练神经网络时非常关键，因为它允许我们轻松地计算梯度。 总的来说，这个例子...
pytorch基础教学简单实例
01-10
张量是PyTorch的数据结构基础，类似于numpy数组，但可以在GPU上高效计算。创建张量可以使用torch.tensor()函数，我们可以通过张量进行各种数学运算，如加法、乘法和矩阵运算。 接下来，我们将构建一个简单的神经...
PyTorch 随机数生成占用 CPU 过高的解决方法
09-18
今天小编就为大家分享一篇PyTorch 随机数生成占用 CPU 过高的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch-pytorch深度学习教程之基本操作.zip
最新发布
05-22
张量可以在CPU或GPU上运行，支持各种数学运算，如加法、乘法和矩阵运算。创建张量可以通过`torch.tensor()`函数，或者直接从NumPy数组转换得到。 2. **自动求导(Autograd)**：PyTorch的自动求导系统是其一大特色，...
[Pytorch函数]loss，loss.cpu().data 及 loss.cpu().detach().numpy()等辨析
qq_41568188的博客
07-20 4606
print('1111',loss) print('2222',loss.data)#tensor且GPU print('3333',loss.cpu()) print('4444',loss.cpu().data)#tensor且CPU # print('5555',loss.cpu().data[0])#报错 IndexError: invalid index of a 0-dim tensor. Use tensor.item() to convert a 0-dim tensor to a Pyth
pytorch 训练过程中缓存不断增大 and loss.backword()占用缓存过大
咖乐部
02-08 988
total_loss += loss.cpu().detach().numpy()
pytorch cpu占用较高
热门推荐
jacke121的专栏
02-16 1万+
法一、torch.set_num_threads(int thread) （亲测比较有效） 法二、exportOMP_NUM_THREADS=1 （未测） PyTorch 随机数生成占用 CPU 过高 今天在使用 pytorch 的过程中，发现 CPU 占用率过高。经过检查，发现是因为先在 CPU 中生成了随机数，然后再调用.to(device)传到 GPU，这样导致效率变得...
Pytorch训练深度强化学习时CPU内存占用一直在快速增加
qq_31239371的博客
10-19 2376
说白了，就是经验池的存储函数，也就是因为一直往经验池里加数据导致内存增加。想了想，原来是我最近修改了算法输入，把图像作为状态输入的一部分了，此外换了配置更好的电脑，程序运行速度也提升了。二者综合作用下，内存才会有明显增加，从而被我发现！（我真是脑子抽了，这么简单的问题一直没想到。最近在用MATD3算法解决多机器人任务，但是在训练过程中，CPU内存一直在增加（注意，不是GPU显存）。我很头疼，以为是算法代码出了问题，导致了内存泄漏，折腾了1天也没解决。解决方法：终极方法就是换大内存。
终于解决pytorch训练过程中CPU内存溢出的问题
weixin_44616692的博客
06-03 2274
期待了一晚上的结果，早上起来竟然发现CPU内存溢出导致程序奔溃了，今天郁闷了一天。。。经查询，内存溢出的常见原因有：loss求和未加item()num_workers过大大量使用list转tensor。
pytorch使用GPU上的方法与心得
FY_2018的博客
08-26 943
方法和心得都写在代码注释里了！ 以下的代码中有两个，CPU版本是只能在CPU上运行，没有问题，但在GPU上会出现数据位置不一致的问题；GPU版本在CPU上和GPU上运行都没有问题。 import torch import torch.nn as nn ''' 把模型放到指定机器上的方法非常简单，以下创建的模型在CPU和GPU上都可以运行，有GPU的时候就会用GPU： 假定我们创建一个模型my_model，然后 1. 第一步创建device Device = torch.device("cud
简单的方式，设置pytorch框架上，使用两个GPU进行加速
04-01
使用PyTorch框架进行多GPU加速非常简单，只需要遵循以下步骤： 1. 导入必要的PyTorch库 ```python import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader ``` 2. 定义模型 ```python class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.fc1 = nn.Linear(784, 512) self.fc2 = nn.Linear(512, 10) self.relu = nn.ReLU() def forward(self, x): x = self.fc1(x) x = self.relu(x) x = self.fc2(x) return x model = MyModel() ``` 3. 定义数据集 ```python train_dataset = torchvision.datasets.MNIST(root='./data', train=True, transform=transforms.ToTensor(), download=True) test_dataset = torchvision.datasets.MNIST(root='./data', train=False, transform=transforms.ToTensor(), download=True) train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True, num_workers=2) test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False, num_workers=2) ``` 4. 设置GPU设备 ```python device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") print(device) ``` 5. 将模型放到GPU上 ```python model = model.to(device) ``` 6. 定义损失函数和优化器 ```python criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 7. 训练模型 ```python for epoch in range(10): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data inputs, labels = inputs.to(device), labels.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() if i % 100 == 99: print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 100)) running_loss = 0.0 ``` 8. 在测试集上测试模型 ```python correct = 0 total = 0 with torch.no_grad(): for data in test_loader: images, labels = data images, labels = images.to(device), labels.to(device) outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the 10000 test images: %d %%' % (100 * correct / total)) ``` 可以看到，只需要在适当的地方添加一些代码，就可以轻松地将PyTorch模型放在多个GPU上进行加速运算。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值