Pytorch 占用cpu资源过多

已于 2022-12-01 15:22:44 修改
阅读量3k 收藏 5
点赞数 3
分类专栏： 人工智能 文章标签： pytorch 大数据 人工智能
于 2022-07-04 17:04:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liang_baikai/article/details/125603595
版权

Pytorch 占用cpu资源过多

文章目录

最近在用pytorch进行一些AI的工作时发现 在部分环境下其cpu占用量过高。

如下：这里只简单的推理了一个小网络且还是用GPU运算的，其cpu占用已经高达1348%了。

top

在这里插入图片描述

经过调试发现 主要是将数据从GPU下载到CPU上消耗资源比较高。

解决办法

遇到这个问题，限制一下线程数量就可以了；

torch.set_num_threads(num)

这个方法改变CPU的占用量比较明显。

效果

限制之后的效果如下：CPU使用率明显降下来了。
在这里插入图片描述

凉_白开
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pytorch cpu占用较高
jacke121的专栏
02-16 1万+
法一、torch.set_num_threads(int thread) （亲测比较有效） 法二、exportOMP_NUM_THREADS=1 （未测） PyTorch 随机数生成占用 CPU 过高 今天在使用 pytorch 的过程中，发现 CPU 占用率过高。经过检查，发现是因为先在 CPU 中生成了随机数，然后再调用.to(device)传到 GPU，这样导致效率变得...
PyTorch 随机数生成占用 CPU 过高的解决方法
09-18
今天小编就为大家分享一篇PyTorch 随机数生成占用 CPU 过高的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
解决PyTorch程序占用较高CPU
qq_41657873的博客
06-11 2441
在使用服务器运行PyTorch程序时，使用TOP命令查看CPU状态，发现CPU占用率竟然达到2000%，已经影响到其他人正常使用服务器。 解决办法： 在main程序中加以下命令： torch.set_num_threads(1) 设置最多使用1个CPU核。问题解决~ ...
pytorch c++版本资源
03-15
pytorch c++ 1.8.2 cxx11-abi
【超详细教程】2024最新Pytorch安装教程（同时讲解安装CPU和GPU版本）
最新发布
Little_Carter的博客
01-31 6122
PyTorch是一个开源的深度学习框架，由Facebook人工智能研究院（FAIR）开发。它提供了一套动态张量计算库，具有易于使用、高效性能和强大的扩展性等特点。PyTorch支持在GPU上运行，能够大大加速深度学习模型的训练和推理过程。
pytorch基本操作资源
01-16
注明一下资源的说明
PyTorch使用cpu加载模型运算方式
09-18
今天小编就为大家分享一篇PyTorch使用cpu加载模型运算方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch代码 在top指令下CPU%占用过高的解决办法
b15040915的博客
03-16 3202
pytorch代码 在top指令下CPU%占用过高的解决办法 问题如下：深度学习使用的torch框架，并且代码中设置gpu使用正常，但是在top指令下发现了这样的问题： 问题分析： 正确设置了使用GPU加载数据到模型中，但是仍然出现很大的CPU占用率，高达2000%，也即占满了20个CPU核心（服务器一共40个）。这种情况在我处理音频采样率为8192时并不明显，当我把采样率换成原始采样率（44100Hz）时，出现了这种情况（有可能与数据有关）。造成这种情况的原因很可能是我的数据采样点的突然增大，触发了多线
终于解决pytorch训练过程中CPU内存溢出的问题
weixin_44616692的博客
06-03 1654
期待了一晚上的结果，早上起来竟然发现CPU内存溢出导致程序奔溃了，今天郁闷了一天。。。经查询，内存溢出的常见原因有：loss求和未加item()num_workers过大大量使用list转tensor。
1.torch.load()函数介绍
clhmliu的博客
11-17 2676
官网翻译过来
pytorch 自定义forward loss运算cpu占用高 在gpu上加速
菜狍的博客
07-11 1262
直接在gpu上定义tensor而减少cpu到gpu的copy!!!为了实现复杂的网络结构和损失函数，自定义forward和loss的计算，发现cpu占用很高，挂了几个训练就占满了所有cpu。 把运算都用放到gpu上运算，发现还是cpu占用高，并且有更慢的趋势。用性能分析工具分析发现是 cpu占用时间率高。为了验证是使用了导致的，编写了程序，对比和直接定义，发现时gpu利用率接近100%，而gpu利用率还不到20%。直接在gpu上定义变量...
Pytorch释放显存占用方式
09-18
今天小编就为大家分享一篇Pytorch释放显存占用方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
把pytorch变量转移到cpu中释放gpu内存
Yonggie的博客
05-11 3742
背景 我想要对一个大批量的数据分批输入模型得到所有的embedding，但是过程进行到中间报 cuda out of memory。经查勘是因为早些的embedding没有及时从cuda中释放内存导致后面的model无法进行forward。 解决 只需要pytorch的tensor.cpu()就可以释放了。 举个例子： embeddings=[] for batch in data_loader: embedding_batch=model(input_data) embeddings.append(e
pytorch安装及基本使用(win10+CPU+Python3.6)
热门推荐
vivian_ll的博客
06-18 1万+
pytorch这两年越来越流行，定义网络结构简单，而且还很直观灵活，数据加载快。 一、安装 登陆pytorch官网。 选择合适的环境： 运行安装命令： pip3 install https://download.pytorch.org/whl/cpu/torch-1.1.0-cp36-cp36m-win_amd64.whl pip3 install https://download.p...
Pytorch训练深度强化学习时CPU内存占用一直在快速增加
qq_31239371的博客
10-19 1982
说白了，就是经验池的存储函数，也就是因为一直往经验池里加数据导致内存增加。想了想，原来是我最近修改了算法输入，把图像作为状态输入的一部分了，此外换了配置更好的电脑，程序运行速度也提升了。二者综合作用下，内存才会有明显增加，从而被我发现！（我真是脑子抽了，这么简单的问题一直没想到。最近在用MATD3算法解决多机器人任务，但是在训练过程中，CPU内存一直在增加（注意，不是GPU显存）。我很头疼，以为是算法代码出了问题，导致了内存泄漏，折腾了1天也没解决。解决方法：终极方法就是换大内存。
pytorch 解决gpu训练只占一块卡
sinat_16423171的博客
08-02 3946
本文主要解决pytorch在进行模型训练时出现GPU的0卡占用显存比其他卡要多的问题。 出现0卡显存更高的原因：网络在反向传播的时候，计算loss的梯度默认都在0卡上计算。因此会比其他显卡多用一些显存，具体多用多少，主要还要看网络的结构。 因此，为了防止训练由于 out of memory 而中断。比较笨的办法是减少batch_size 那么没有更优雅的方法呢？答案是肯定的。那就是借用下transformer-xl中用到的 BalancedDataParallel类。代码如下（代码出处）： import
Pytorch显存分配机制与显存占用分析方法
夕小瑶科技说
08-12 3504
文 | Connolly@知乎（已授权）源 |极市平台作者最近两年在研究分布式并行，经常使用PyTorch框架。一开始用的时候对于PyTorch的显存机制也是一知半解，连蒙带猜的，经常来知乎上来找答案，那么我就吸收大家的看法，为PyTorch的显存机制做个小的总结吧。实验环境：OS: Ubuntu18.04python: 3.7.4PyTorch: 1.9.1GPU: ...
pytorch安装 CPU
08-30
要在 Python 环境中安装 PyTorch 的 CPU 版本，可以按照以下步骤进行操作： 1. 确保你已经安装了 Python 和 pip。PyTorch 支持 Python 版本 3.6 及以上。 2. 打开终端或命令提示符，运行以下命令安装 PyTorch 的 CPU 版本： ``` pip install torch ``` 这将会安装最新版本的 PyTorch。 3. 安装完成后，可以通过导入 torch 来验证是否成功安装： ```python import torch print(torch.__version__) ``` 如果没有报错并且能够打印出 PyTorch 的版本号，那么说明你已成功安装了 PyTorch 的 CPU 版本。 请注意，PyTorch 的 CPU 版本只支持在 CPU 上运行，而不会使用任何 GPU 资源。如果你想在 GPU 上运行 PyTorch，需要安装相应的 GPU 版本，并且确保你的计算机具有兼容的 GPU。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值