GPU使用进程的查看和管理

最新推荐文章于 2024-08-08 16:21:23 发布
最新推荐文章于 2024-08-08 16:21:23 发布
阅读量1.5w 收藏 6
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kaige_Zhao/article/details/79748079
版权
当修改batch_size问题未解决时，发现GPU被多个进程占用。通过查看GPU使用情况，发现6个进程占用资源。执行特定命令，依据PID强制关闭相关进程，从而解决GPU资源占用问题。
摘要由CSDN通过智能技术生成
在跑深度学习的时候出现问题 
Check failed: error == cudaSuccess (2 vs. 0)  out of memory

修改batch_size的大小错误依旧存在，最后发现是一些进程在占用GPU所导致。关闭这些进程，错误消失。

查看GPU使用情况
nvidia-smi

显示如下：

aicrobo@ubuntu:~$ nvidia-smi
Thu Mar 29 19:52:48 2018       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 367.48                 Driver Version: 367.48                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+=
最低0.47元/天 解锁文章
Kaige_Zhao
关注
CUDA：使用每个GPU一个进程进行计算的进程间通信的实例
希望我的博客，能帮上你解决学习中工作中所遇到的问题
12-21 201
CUDA：使用每个GPU一个进程进行计算的进程间通信的实例
【个人笔记】如何终止GPU里面的运行的程序
flysky_jay的博客
08-28 1万+
1.首先查看GPU中正在运行的程序： 记录PID号 2.执行kill -9 40705(PID)就可以杀死进程了。
c++高性能多进程 cuda编程:GPU结构和通信速度+tiling的代码实现
ResumeProject的博客
08-04 632
根据之前的分析，依靠pytorch的JIT进行了实现，所以在安装pytorch的环境中，直接执行test.py就能直接运行。
查看GPU占用进程
最新发布
Ppandaer的博客
08-08 360
在 top 或 htop 中，按 f 键并输入 python 或其他关键词来过滤出与GPU相关的进程。
解决gpu没有运行进程，但是显存一直占用的方式
热门推荐
大鱼的博客
10-19 3万+
通常情况下，停止进程显存会释放 但是如果在不正常情况关闭进程，可能不会释放，这个时候就会出现这样的情况： Mon Oct 19 16:00:00 2020 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 410.104 Driver Version: 410.104 CUDA Version: 10.0 | |-------
如何将自己的程序使用GPU运行
阅读修身
07-18 3万+
1问题描述 安装了CUDA和tensorflow却没有使用gpu运行，总感觉亏大了，于是找了解决方案。 发现，使用gpu效率快多了。 2解决方案 首先需要安装CUDA和tensorflow。 （1）然后桌面右键——NVIDIA控制面板——管理3D设置 （2）然后选择添加，找到你想用来加速的程序，直接选定该程序所在文件夹就可以了。 （3）然后重新打开软件运行所需程序。 （4）测试，Win+R——输入cmd——nvidia-smi即可获得使用CPU和GPU状况。 看这两个对比图 ..
nvitop：交互式Nvidia-GPU进程查看器
02-10
交互式Nvidia-GPU进程查看器。 该项目的灵感来自 ，这是一种丰富nvidia-smi输出的工具。 使用正则表达式从子中读取nvidia-smi的输出，效率不高。 同时，有一个功能强大的交互式GPU监控工具 。 但是用C编写，这使其...
MPS（多进程服务器）解决多进程占用GPU问题.rar
03-11
而在MPS模式下，所有的计算任务都被代理到一个单一的服务进程中，该服务进程负责管理GPU资源，并确保多个进程间的任务调度和资源分配。 启用MPS后，多个进程可以并发地提交任务到GPU，由MPS服务进程统一调度。这样...
获取每个进程GPU提交字节.zip
04-12
总之，“获取每个进程GPU提交字节”是一个关键的性能监控任务，它可以帮助我们有效地管理和优化GPU资源，确保计算任务的高效执行。通过使用各种工具和方法，我们可以深入理解GPU的使用模式，从而提升系统性能，降低...
tensorflow:指定gpu 限制使用量百分比,设置最小使用量的实现
09-18
在深度学习领域，TensorFlow 是一个广泛使用的开源库，它允许开发者构建和...这些技巧在处理大型模型或在多用户环境中使用GPU时尤其有用，它们能帮助你更有效地管理和优化GPU资源，从而提高计算效率和模型训练的速度。
windows下查看GPU使用率的小程序
09-29
用于查看GPU使用情况的小工具，查看CPU占用率，温度，风扇转速等。
gpu没有运行进程，但是显存一直占用
m0_52253424的博客
11-28 3973
gpu没有运行进程，但是显存一直占用
查看占用GPU资源的 进程所属docker容器，并杀死 docker 中的僵尸进程！
weixin_43412762的博客
08-30 3578
一台服务器，每个人在上面run一个容器，跑各自的代码，虽然通过nvidia-smi可以看到每个进程占用的GPU，但是不好找进程对应的容器id，就没法确认到底是谁占用了较多GPU。
学习笔记：终止正在运行的GPU进程
hutianle的博客
05-14 1637
问题描述： 终止正在运行的GPU进程： C:\Users\Tianle Hu>nvidia-smi Fri May 14 16:04:55 2021 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 452.69 Driver Version: 452.69 CUDA Version: 11.0 | |-----------------
如何指定程序在某个GPU上运行
qq_21460525的博客
06-19 1万+
只需要添加如下两行代码：import os os.environ[“CUDA_VISIBLE_DEVICES”] = “1”注意，服务器看到的GPU序号和手动在Linux上查看的序号是相反的，比如 那么我们指定os.environ[“CUDA_VISIBLE_DEVICES”] = “0”的话，你会发现在watch nvidia-smi指令下，2号GPU正在满负荷的运行！
pythongpu多进程和多线程
07-28
Python中可以使用多进程和多线程来实现并行处理任务。多进程是指在操作系统中创建多个进程，每个进程都有自己的独立内存空间和资源，它们可以同时执行不同的任务。多线程是指在同一进程中创建多个线程，这些线程共享同一内存空间和资源，它们可以并发执行不同的任务。 在Python中，可以使用multiprocessing模块来实现多进程编程，它提供了Process类和Pool类等工具来创建和管理进程。通过创建多个进程，可以同时执行多个任务，从而提高程序的执行效率。 另外，Python还提供了threading模块来实现多线程编程。使用Thread类可以创建和管理线程。不同于多进程，多线程的线程共享同一进程的资源，因此需要注意线程安全的问题。 需要注意的是，Python中的多线程由于全局解释器锁（Global Interpreter Lock, GIL）的存在，在CPU密集型任务中无法实现真正的并行执行，但对于I/O密集型任务，多线程可以有效提升程序的执行效率。如果需要实现真正的并行计算，可以使用多进程来替代多线程。 综上所述，根据具体的需求和场景选择使用多进程或多线程来实现并行处理任务。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值