解决PyTorch程序占用较高CPU

最新推荐文章于 2024-05-21 00:51:35 发布
最新推荐文章于 2024-05-21 00:51:35 发布
阅读量2.3k 收藏 7
点赞数 6
分类专栏： python日常 nlp 学习笔记 文章标签： 自然语言处理 pytorch 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fan15945028042/article/details/121516720
版权

在使用服务器运行PyTorch程序时，使用TOP命令查看CPU状态，发现CPU占用率竟然达到2000%，已经影响到其他人正常使用服务器。

解决办法：
在main程序中加以下代码：

torch.set_num_threads(1)

设置最多使用1个CPU核。问题解决~

■D
关注
  • 6
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch cpu占用较高
jacke121的专栏
02-16 1万+
法一、torch.set_num_threads(int thread) （亲测比较有效） 法二、exportOMP_NUM_THREADS=1 （未测） PyTorch 随机数生成占用 CPU 过高 今天在使用 pytorch 的过程中，发现 CPU 占用率过高。经过检查，发现是因为先在 CPU 中生成了随机数，然后再调用.to(device)传到 GPU，这样导致效率变得...
PyTorch 随机数生成占用 CPU 过高的解决方法
09-18
今天小编就为大家分享一篇PyTorch 随机数生成占用 CPU 过高的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 占用cpu资源过多
凉_白开的博客
07-04 3108
pytorch进行一些AI的工作 其cpu占用量过高。 经过调试发现 主要是将数据从GPU下载到CPU上消耗资源比较高。遇到这个问题，限制一下线程数量就可以了； 这个方法改变CPU的占用量比较明显。
终于解决pytorch训练过程中CPU内存溢出的问题
weixin_44616692的博客
06-03 1834
期待了一晚上的结果，早上起来竟然发现CPU内存溢出导致程序奔溃了，今天郁闷了一天。。。经查询，内存溢出的常见原因有：loss求和未加item()num_workers过大大量使用list转tensor。
python进程占用cpu过高_找出占用cpu内存过高的进程
weixin_34910679的博客
01-15 1740
找出占用cpu内存过高的进程准备//分析占用CPU最高的应用[root@dy1 ~]# ps -eo user,pid,pcpu,pmem,args --sort=-pcpu |head -n 10USER PID %CPU %MEM COMMANDroot 7365 1.0 0.0 ps -eo user,pid,pcpu,pmem,args --sort=-pc...
Pycharm卡顿、反应慢、CPU占用高
热门推荐
BeiErGeLaiDe的博客
04-26 2万+
依次打开 File →Settings → Project: xxx → Project: Interpreter，把现在用的python解释器删除，再重新导入即可，或者切换一下别的解释器，再切回来即可。依次打开 File(文件) → Project：Administrator（项目：管理员） → Project Structure （项目结构），把没有用的都删掉就可以了。依次打开 File(文件) → Power save mode (省电模式)，这样确实变快了好多，但是没有代码检查了，因噎废食。
python task.pyc进程占用CPU非常高，请问怎么处理比较好？
qq_42495211的博客
08-23 1537
python task.pyc进程占用CPU非常高，请问怎么处理比较好？用的宝塔
pytorch训练CPU占用持续增长（bug）
zyr_freedom的博客
06-22 1045
torch中cpu内存持续增长
【Pytorch基础】Pytorch限制或增加CPU使用的核数
sxl的博客
10-03 7175
  一般Pytorch 默认是使用一半的CPU运行的，有的时候用不到那么多得CPU资源或者占用太多资源挤压别人，这就需要限制核数。Pytorch提供了一个限制核数的代码，、 # cpu_num是一个整数 torch.set_num_threads(cpu_num) 这样就能够限制核数。 参考文献 [1]限制或增加pytorch的线程个数！指定核数或者满核运行Pytorch！！！ [2]pytorch常见问题之cpu占满 ...
pytorch训练占用cpu过高，num_works和set_num_threads设置均无效，发现是数据扩增的问题
qq_27095227的博客
10-12 5277
这是我使用pytorch训练模型的时候，出现cpu占用过多的情况，无关pytorch版本 dataloader的num_work=1的时候 单线程cpu占用量2800，也就是一半的cpu，我服务器一共28*2个逻辑cpu dataloader的num_work=8的时候 8个线程cpu占用500-700，合计2800 使用网上教程的如下指令，没有任何效果 cpu_num = 1 os.environ["OMP_NUM_THREADS"] = str(cpu_num) os.env
pytorch程序异常后删除占用的显存操作
12-23
1-删除模型变量 del model_define 2-清空CUDA cache torch.cuda.empty_cache() 3-步骤2（异步）需要一定时间，设置时延 ... 您可能感兴趣的文章:Pytorch释放显存占用方式解决Pytorch 训练与测试时爆显存
PyTorch使用cpu加载模型运算方式
09-18
今天小编就为大家分享一篇PyTorch使用cpu加载模型运算方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch训练深度强化学习时CPU内存占用一直在快速增加
qq_31239371的博客
10-19 2087
说白了，就是经验池的存储函数，也就是因为一直往经验池里加数据导致内存增加。想了想，原来是我最近修改了算法输入，把图像作为状态输入的一部分了，此外换了配置更好的电脑，程序运行速度也提升了。二者综合作用下，内存才会有明显增加，从而被我发现！（我真是脑子抽了，这么简单的问题一直没想到。最近在用MATD3算法解决多机器人任务，但是在训练过程中，CPU内存一直在增加（注意，不是GPU显存）。我很头疼，以为是算法代码出了问题，导致了内存泄漏，折腾了1天也没解决。解决方法：终极方法就是换大内存。
pytorch常见问题之cpu占满
ltochange的博客
05-12 3071
问题： 在服务器上跑pytorch服务，cpu核心全部占用，影响其他服务的性能 解决方法： pytorch默认是能用多少线程就用多少的，可通过一下方法设置线程 修改环境变量 export OMP_NUM_THREADS=1 在代码里面设置线程数 torch.set_num_threads(int thread) 通过减少线程数，可以减少cpu占用，同时也会使得服务的qps有所下降 ...
python优化技术_python性能之服务优化的方法解析
weixin_39630441的博客
12-06 170
初看这个标题,相信很多同学都笑了,python有性能可言么,呵呵哒...确实哦,python其实就是为了快速开发应用而出生的,虽然python的服务都以性能低而闻名全世界,但是总该有优化的地方吧,呵呵哒....这不,这两天本作者就碰见了这样一个问题,首先自我介绍下,我是干嘛的,肯定是屌丝程序员了,这个猜都不用猜,要不然也不会蛋疼的写这篇文章了,我们组是基础开发组,就是专门开发一些剥离业务的组件让其...
pytorch代码 在top指令下CPU%占用过高的解决办法
b15040915的博客
03-16 3236
pytorch代码 在top指令下CPU%占用过高的解决办法 问题如下：深度学习使用的torch框架，并且代码中设置gpu使用正常，但是在top指令下发现了这样的问题： 问题分析： 正确设置了使用GPU加载数据到模型中，但是仍然出现很大的CPU占用率，高达2000%，也即占满了20个CPU核心（服务器一共40个）。这种情况在我处理音频采样率为8192时并不明显，当我把采样率换成原始采样率（44100Hz）时，出现了这种情况（有可能与数据有关）。造成这种情况的原因很可能是我的数据采样点的突然增大，触发了多线
PyTorch 随机数生成占用 CPU 过高
sunlightsgy的博客
10-09 2319
PyTorch 随机数生成占用 CPU 过高 今天在使用 pytorch 的过程中，发现 CPU 占用率过高。经过检查，发现是因为先在 CPU 中生成了随机数，然后再调用.to(device)传到 GPU，这样导致效率变得很低，并且CPU 和 GPU 都被消耗。 查阅PyTorch文档后发现，torch.randn(shape, out)可以直接在GPU中生成随机数，只要shape是tensor....
大语言模型实战——搭建纯本地迷你版RAG
最新发布
golfxiao的专栏
05-21 532
question: 用户真实提问的问题。context: 基于用户问题所检索出的上下文文档片段，作为语言模板在回答问题时主要参考的内容。RAG_PROMPT_TEMPALTE = """先对上下文进行内容总结,再使用上下文来回答用户的问题。如果你不知道答案，就说你不知道。总是使用中文回答。问题: {question}可参考的上下文：···{context}···如果给定的上下文无法让你做出回答，请回答数据库中没有这个内容，你不知道。有用的回答:"""
pytorch程序占满cpu
07-28
您好！对于PyTorch程序占满CPU的问题，可能有以下几个原因和解决方法： 1. 数据加载和预处理：如果您的程序在数据加载和预处理阶段花费了大量时间，可以尝试使用多线程或异步加载数据，以减少CPU负载。 2. 模型结构和参数：复杂的模型结构和大量的参数会增加计算量，导致CPU占用率高。您可以考虑减小模型规模、简化模型结构或者使用更轻量化的模型。 3. 批处理大小：较大的批处理大小可能会导致CPU负载过高。您可以尝试减小批处理大小，以减轻CPU压力。 4. GPU使用设置：如果您的程序本身是为GPU设计的，但是在没有可用GPU的情况下运行，PyTorch会自动切换到CPU运行。您可以通过设置`torch.cuda.is_available()`来检查GPU是否可用，并将模型和张量移动到GPU上进行计算。 5. 并行计算：如果您的机器有多个CPU核心，可以尝试使用PyTorch的并行计算功能来利用多个核心进行计算，以提高效率。 6. 硬件优化：确保您的计算机硬件符合PyTorch的要求，并且已经安装了最新的驱动程序和库。 希望以上方法能够帮助您解决PyTorch程序占满CPU的问题！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值