pytorch指定gpu以及kill掉某个进程

最新推荐文章于 2021-09-25 19:37:19 发布
最新推荐文章于 2021-09-25 19:37:19 发布
阅读量1.6k 收藏
点赞数 1
分类专栏： 人工智能 python 文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiantiandashi/article/details/107558358
版权


1. 在运行代码的时候在终端设置
CUDA_VISIBLE_DEVICES=0 python train.py

2.在代码中指定
import os
os.environ[“CUDA_VISIBLE_DEVICES”] = “0”

3. set_device
import torch
torch.cuda.set_device(0)


以上方式意味着指定使用0号GPU，官方建议使用CUDA_VISIBLE_DEVICES，不建议使用 set_device 

另外使用gpustat可以查看哪个用户正在使用gpu和内存使用情况

然后输入nvidia-smi，根据内存相等的得到进程号pid，再利用kill -9 pid 可以杀死某个进程，我这里的pid是20370

 

 

有帮助的话请点个赞哦~

tiantiandashi
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch 指定gpu训练与多gpu并行训练示例
09-18
今天小编就为大家分享一篇pytorch 指定gpu训练与多gpu并行训练示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch在kill主进程后无法释放显存的问题
georgeandgeorge的博客
05-16 4124
同事写的pytorch程序最近有点奇怪，程序运行结束/强制杀死后，占用的显存没能正常释放。这是怎么一回事呢？ 在pytorch论坛搜到以下的信息：https://discuss.pytorch.org/t/pytorch-doesnt-free-gpus-memory-of-it-gets-aborted-due-to-out-of-memory-error/13775/13 就是说：多进程模式下的pytorch程序有个别版本会有这个bug：已经kill了主进程，可是子进程却没有kill掉，成了僵尸
tensorflow、pytorch强制关闭GPU释放显存
hesongzefairy的博客
09-25 1775
环境中安装numba然后添加以下代码： from numba import cuda device = cuda.get_current_device() device.reset() cuda.close()
linux下运行pytorch程序显示“killed”或者“已杀死”
热门推荐
qq_38327769的博客
11-18 2万+
这是由pytorch对于内存不足的反应，确切说，是Linux内核对pytorch程序占用太多内存的反应。Linux内核一旦因为内存资源不足而生气的时候，会使用OOM killer将占用内存最多的进程杀掉。这种情况下，pytorch的python程序根本就来不及显示相关的内存日志，直接在呼喊出killed这一个简短有力的词语后，就game over了。如果不提前掌握这个背景的话，你可真是会手足无措啊。 既然我们确定了是内存不足导致的问题（dmesg也能明确的显示出kernel把占了近10个GB的python进
Pytorch内存泄露（僵尸进程）解决办法
liuyifang0810680的专栏
03-20 7721
nvidia-smi         发现内存泄露问题，即没有进程时，内存被占用fuser -v /dev/nvidia*         发现僵尸进程ps x |grep python|awk '{print $1}'|xargs kill        杀死所有僵尸进程命令解读：ps x: show all process of current usergrep python: to get ...
kill 进程_批量杀死自己跑在GPU上的进程[深度学习调参工具脚本]
weixin_39589644的博客
11-27 464
在调参的过程中，经常会遇到自己批量跑的程序结果并不是太好。这时候需要将他们全部kill，跑一组新的参数。一开始想的是一个个 kill , 但是太慢了。于是，批量杀死自己跑在GPU上的进程/跑在CUDA上进程，我就写了个小脚本，方便批量调参！大致思路：nvidia-smi 命令可以看到所有泡在GPU上的程序ll /proc/[pid] 可以看到进程的详细信息，包括所跑文件的位置信息根据这两条信息，就...
pytorch使用指定GPU训练的实例
09-18
今天小编就为大家分享一篇pytorch使用指定GPU训练的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
pytorch多GPU并行运算的实现
09-18
主要介绍了pytorch多GPU并行运算的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
网络训练报错RuntimeError:size mismatch, m1: [256 x 1600], m2: [1024 x 256]的解决办法
tiantiandashi的博客
06-10 9504
最近在用fashionMNIST跑一个网络，结果如下图 想要看看用同一个网络，不同数据集之间对准确率差别，因此我把数据集换成了cifar10.除了要用到transforms.Grayscale(1) test_dataset = CIFAR10('../data/CIFAR10', train=False, download=True, transform=transforms.Compose([ transforms.Grayscale(1), transforms.ToTens
关于一个7*7的卷积核可用3个3*3的卷积核代替的理解
tiantiandashi的博客
04-15 8473
最近在看常见网络的结构，比如AlexNet（2012），VGG（2014）,GoogleNet（2014），ResNet残差网络（2015）等等，其中VGG相比AlexNet做出的三个改进： 1）使用小的卷积核而不是大的（如选用三个3*3的卷积核而不是选一个7*7） 2）提出了pooling的概念 3）使用dropout 这三个创新的地方使得VGGnet的参数大大减少，提高了识别率，但是由...
pytorch孪生网络识别面部相似度代码解读
tiantiandashi的博客
03-16 5200
本文章记录最近看的一个孪生网络实现人脸面部相似度的代码实例，关于孪生网络的定义，可以点击这里，该项目所使用的的网络架构为标准的卷积神经网络架构，在每个卷积层之后使用批量归一化（batch normolization），然后进行dropout。 孪生网络架构的代码片段： class SiameseNetwork(nn.Module): def __init__(self): ...
手指静脉图像数据集
tiantiandashi的博客
06-06 4912
1.山东大学机器学习与数据挖掘实验室指静脉数据集SDUMLA-HMT Database 2.马来西亚理工大学指静脉数据集 Finger Vein USM (FV-USM) DatabaseFinger Vein USM (FV-USM) DatabaseFinger Vein USM (FV-USM) Database 3.香港理工大学指静脉数据集The Hong Kong Polytechnic University Finger Image Database, Version 1.0 4...
pytorch使用卷积神经网络提取图片边缘信息
tiantiandashi的博客
08-27 3253
import numpy as np import torch from torch import nn from torch.autograd import Variable import torch.nn.functional as F from PIL import Image import matplotlib.pyplot as plt im=Image.open('./girl.j...
关于triplet loss的理解
tiantiandashi的博客
03-21 2742
一：前言 Triplet Network最常用于人脸识别的领域，利用Triplet loss来学习人脸的特征向量表示。在看本文章之前，建议先观看Andrew Ng在Coursera上的deep learning specialization的相关课程。b站链接点这里。 1、介绍 triplet network的网络结构如他的名字，输入是一个三元组<a,p,n> a(anchor...
梯度下降优化器Optimization
tiantiandashi的博客
06-08 1041
前言 梯度下降算法是机器学习中使用非常广泛的优化算法，梯度可以理解成山坡上某一点上升最快的方向，它的反方向就是下降最快的方向。要想下山最快，那么就要沿着梯度的反方向走，最终到达山底（全局最优点）。梯度下降优化器就是为了找到最快的下山策略。目前最常用的优化器有SGD、SGD+momentum、NAG、adagrad，Adam等。 1、SGD 随机梯度下降算法通常还有三种不同的应用方式，它们分别是SGD、Batch-SGD、Mini-Batch SGD a.SGD是最基本的随机梯度下降，它是指每次参数更新
sklearn实现k折交叉验证的小例子
tiantiandashi的博客
08-10 805
>>> import numpy as np >>> from sklearn.model_selection import KFold >>> X = np.array([[1, 2], [3, 4], [1, 2], [3, 4]]) >>> y = np.array([1, 2, 3, 4]) >>> kf = KFold(n_splits=2) >>> kf.get_n_splits(X) 2
训练网络时候在命令行指定参数
tiantiandashi的博客
09-18 466
1.首先指定要传递的参数，比如batchsize和learning rate if __name__ == "__main__": import argparse p=argparse.ArgumentParser() p.add_argument("--batch_size",type=int,default=64) p.add_argument("--lr",type=float,default=0.00001) args=p.parse_args() main(args.
pytorch手写数字识别，MNIST数据集
tiantiandashi的博客
08-30 160
import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms from torch.autograd import Variable #training set 设置每个包中的图...
pytorch指定gpu
最新发布
09-16
在 PyTorch 中，可以使用以下代码将模型和张量移动到特定的 GPU 设备上： ```python import torch # 检查是否有可用的 GPU if torch.cuda.is_available(): device = torch.device("cuda") # 默认选择第一个可用的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值