Pytorch死活要用第0块显卡（Pytorch设置使用服务器第几张卡）

已于 2024-01-17 01:52:50 修改
阅读量573 收藏 9
点赞数 7
文章标签： pytorch 人工智能 python
于 2024-01-15 15:28:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45871473/article/details/135602799
版权

解决：指令运行前设置环境变量 （适用于多卡训练）

在输入训练指令前加上CUDA_VISIBLE_DEVICES=1,2，即设置环境变量，程序只“看得见”第1、2块显卡，自然就不需要在使用第0块显卡了。但是有一个问题是，在设置环境变量之后，第1、2块显卡在程序的眼里就变成了第0、1块显卡，在后续使用中需要注意序号的问题，不然会出现invalid device ordinal的错误。使用成本最小，绝对不会出现cuda0在被禁用的情况下被调用的情况。

CUDA_VISIBLE_DEVICES=1,2 python train.py
打怪升级^_^
关注
pytorch设置指定哪张显卡运行代码，当多卡系统时，可以指定具体哪张卡跑代码
Bean的博客
05-30 1431
针对pytorch有效。其他设置指定显卡的方法，仅供参考
pytorch 指定显卡
weixin_38208912的博客
01-11 1921
在pytorch中若使用gpu， 则默认从0号卡开始 终端中指定 CUDA_VISIBLE_DEVICES=1 python mian.py 代码中指定 import os os.environ["CUDA_VISIBLE_DEVICES"] = "0"
pytorch配置双显卡，使用双显卡跑代码
m0_63092821的博客
06-12 5846
Linux系统，pytorch环境。
CUDA 指定设备的方法，CUDA_VISIBLE_DEVICES 设置当前pytorch程序使用那些GPU设备
白袍小将的博客
12-12 2万+
​ 当服务器有多个GPU卡时，通过设置CUDA_VISIBLE_DEVICES环境变量可以改变CUDA程序所能使用的GPU设备，默认情况下：标号为0的显卡为主卡。
PYTorch训练和推理 指定GPU
黎国溥
03-21 2876
在训练模型和推理测试时，电脑中有多个显卡，需要指定某个GPU，以免出现显出不够问题。
pytroch指定显卡使用
bank777777的博客
03-22 903
项目场景： 用os指定pytorch走第n块GPU import os os.environ['CUDA_VISIBLE_DEVICES'] = '1,2'
【记录】Linux系统 pytorch使用其他显卡的方法
u013928277的博客
10-10 166
例如：指定id为‘2，4’显卡，那么后文代码中第一张显卡为‘cuda:0’，第二张显卡为‘cuda:1’；解决即使指定显卡，Pytorch仍在cuda:0上训练出现内存不够的问题。再如：指定id为‘3’的显卡，后文代码中的显卡号为‘cuda:0’.2、无论之前显卡的id是什么，要及时更新后续的代码段。引号里的数字代表显卡号。本篇主要详述用这个方法。
pytorch指定用多张显卡训练_Pytorch中多GPU训练指北
weixin_39639518的博客
12-19 3313
前言在数据越来越多的时代，随着模型规模参数的增多，以及数据量的不断提升，使用多GPU去训练是不可避免的事情。Pytorch在0.4.0及以后的版本中已经提供了多GPU训练的方式，本文简单讲解下使用Pytorch多GPU训练的方式以及一些注意的地方。这里我们谈论的是单主机多GPUs训练，与分布式训练不同，我们采用的主要Pytorch功能函数为DataParallel而不是DistributedPar...
pytorch for ROCM 安装包，amd显卡
10-18
pytorch for ROCM 安装包whl , 支持ubuntu 18.04及以上系统， amd Radeon Vii 显卡。 里面带配置手册（rocm分版本安装方法)
在Linux远程服务器上设置PyTorch的GPU版本
01-16
在Linux远程服务器上设置PyTorch的GPU版本是一项常见的任务，特别是在进行深度学习项目时，GPU的加速能力是必不可少的。PyTorch是一个强大的开源机器学习库，支持Tensor计算和动态神经网络，广泛应用于科研和工业界...
CPU版本的Pytorch安装教程（AMD显卡），附详细图解
weixin_44110563的博客
03-07 5万+
Windows11+AMD显卡+pycharm3.9.7+CPU版本的Pytorch
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
热门推荐
盼小辉丶的博客
06-13 6万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
python运行程序设置指定GPU(查看GPU使用情况)
LJC的博客
07-17 3万+
常见的两种使用方式如下： 一、python文件里设置指定GPU 一般情况： import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" （保证程序cuda序号与实际cuda序号对应） os.environ['CUDA_VISIBLE_DEVICES'] = "0,1" （代表仅使用第0，1号GPU） 单GPU： os.environ["CUDA_VISIBLE_DEVICES"] = "2"###代表只使用第3个gpu 而没设置的时候一般会只用第
不管怎么指定pytorch都使用gpu0进行训练解决方法
qq_35037684的博客
06-09 5279
这个问题困惑了我好久，不管怎么指定，程序中用的 os.environ['CUDA_VISIBLE_DEVICES'] = '1,2' 并不管用 最后都显示 RuntimeError: CUDA out of memory. Tried to allocate 158.00 MiB (GPU 0; 11.17 GiB total capacity; 556.72 MiB already allocated; 26.06 MiB free; 17.28 MiB cached) 真的是很泪奔了，最后查到，pyto
解决Python使用GPU
最新发布
m0_72958694的博客
06-09 2181
本文简单介绍了使用Python解决使用GPU的方法，并给出了TensorFlow和PyTorch示例；本文还介绍了TensorFlow GPU的安装版本介绍，以及介绍了安装CUDA的详细教程。
torch 指定显卡
billbliss的专栏
07-28 1633
torch.cuda.set_device()的优先级低：如果model.cuda()中指定了参数，那么torch.cuda.set_device()会失效，而且。2. shell中指定。3. 模型/参数中指定。
使用torch完成多卡训练
Edward__J的博客
05-09 1699
因为我这个gpu进程得到的是这个进程上数据的loss，比如我有四张卡，第一张卡上batch size有64个数据，会产生一个loss，但是四张卡按理来说是256的batch size，我们的做法应该是把四张卡的loss加起来除以四。我不太懂，希望有明白的佬提点一下。第一个是torch.utils.data.DistributedSampler，这函数的就是给不同的gpu分配不通的数据，简单来说就是把编号1，3，5，...的数据分给gpu0，2，4，8，...分给gpu2等等，这一步只是把索引给分好。
解决已经指定了device=7，但仍在0号卡运行的情况
qq_47220888的博客
03-07 437
解决程序不在指定卡运行的情况
CUDA_VISIBLE_DEVICES：控制（指定GPU）在固定的某些设备上运行Python程序
MOL
01-24 2635
设置仅使用CUDA 1 设备设置仅使用CUDA 1、5、7 设备在这种情况下，export命令会将设置为环境变量，该变量会影响在同一会话中随后运行的所有命令。这意味着只要您在同一个终端会话中，之后运行的所有 CUDA 支持的程序都只能看到并使用编号为 1 的 GPU。一旦关闭了终端会话，这个环境变量设置就会失效，如果需要在新的会话中使用相同的设置，您需要再次设置它。
两张显卡如何并行进行cuda加速，请给出pytorch示例
05-11
在 PyTorch 中，可以通过设置 `CUDA_VISIBLE_DEVICES` 环境变量来选择使用哪些显卡，然后使用 `torch.nn.DataParallel` 模块将模型并行化。以下是一个示例： ```python import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F from torch.utils.data import DataLoader # 设置使用的显卡 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") if torch.cuda.is_available(): torch.cuda.set_device([0, 1]) # 选择第 0 和 1 号显卡进行计算 print("Using device:", device) # 定义模型 class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.fc1 = nn.Linear(10, 5) self.fc2 = nn.Linear(5, 1) def forward(self, x): x = F.relu(self.fc1(x)) x = self.fc2(x) return x model = Model().to(device) # 并行化模型 if torch.cuda.device_count() > 1: model = nn.DataParallel(model) # 定义数据集和 DataLoader train_dataset = torch.randn(1000, 10) train_labels = torch.randn(1000, 1) train_loader = DataLoader(list(zip(train_dataset, train_labels)), batch_size=32) # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01) # 训练模型 for epoch in range(10): for i, (inputs, labels) in enumerate(train_loader): inputs, labels = inputs.to(device), labels.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() print("Epoch:", epoch, "Batch:", i, "Loss:", loss.item()) ``` 在这个示例中，我们首先设置了环境变量 `CUDA_VISIBLE_DEVICES` 来选择使用第 0 和 1 号显卡进行计算。然后，我们定义了一个简单的神经网络模型 `Model`，它包含两个线性层。接下来，我们使用 `nn.DataParallel` 将模型并行化，如果只有一张显卡则不需要并行化。我们还定义了一个简单的数据集和 DataLoader，并使用均方误差损失函数和随机梯度下降优化器来训练模型。在训练过程中，我们将输入和标签移动到选择的显卡上进行计算。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值