import torch
import cupy as cp
# 指定使用的GPU设备
device_id = 3 # 使用第3号GPU
device = cp.cuda.Device(device_id)
device.use()
# Assuming your cupy array is a
# a_np = a.get() # Transfer cupy array from GPU to CPU
# a_tensor = torch.from_numpy(a_np).cuda(3) # Convert to PyTorch tensor and then move to GPU 3
# 使用CuPy生成一个变量
cupy_variable = cp.array([1, 2, 3])
# 将CuPy变量转换为PyTorch张量
torch_tensor = torch.as_tensor(cupy_variable).cuda(3)
# 现在你有了一个PyTorch张量(torch_tensor),可以在PyTorch中使用它
但是上面的代码在ipynb上进行运行的时候,它为啥会占好几张卡,我都指定了使用3号GPU
当您在Python脚本或Jupyter notebook中使用CUDA操作(无论是通过PyTorch、CuPy还是其他库),GPU内存可能会被占用。特定的行为可能取决于多种因素,包括环境设置和代码的特定操作。
这里有一些可能的原因和解决方案:
-
默认行为:PyTorch可能会在第一次调用时初始化所有可用的GPU,即使您指定使用特定的GPU。
-
CUDA_VISIBLE_DEVICES环境变量:您可以使用此环境变量来限制Python进程看到的GPU。例如,要仅使第4个GPU(索引为3)对Python进程可见,您可以设置:
export CUDA_VISIBLE_DEVICES=3
在Jupyter notebook中,您可以在代码单元中运行以下命令来设置此环境变量:
import os
os.environ["CUDA_VISIBLE_DEVIES"]="3"
-
PyTorch的设备管理:您可以使用torch.cuda.set_device(device_id)来明确设置希望PyTorch使用的设备。但请注意,这不会影响CuPy或其他库的行为。
-
其他代码和库:请确保您的notebook中没有其他代码或库初始化或使用其他GPU。某些操作可能会在后台触发GPU的使用。
-
多线程/多进程:确保没有其他线程或进程在使用其他GPU。在某些情况下,多线程或多进程操作可能会导致使用不预期的GPU。
总的来说,最直接和可靠的方法可能是使用CUDA_VISIBLE_DEVICES来限制可见的GPU。这确保只有您指定的GPU对Python进程可见,从而避免占用其他GPU的内存。
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "3"
import torch
import cupy as cp
# 指定使用的GPU设备
device_id = 3 # 使用第3号GPU
device = cp.cuda.Device(device_id)
device.use()
# Assuming your cupy array is a
# a_np = a.get() # Transfer cupy array from GPU to CPU
# a_tensor = torch.from_numpy(a_np).cuda(3) # Convert to PyTorch tensor and then move to GPU 3
# 使用CuPy生成一个变量
cupy_variable = cp.array([1, 2, 3])
# 将CuPy变量转换为PyTorch张量
torch_tensor = torch.as_tensor(cupy_variable).cuda(3)
# 现在你有了一个PyTorch张量(torch_tensor),可以在PyTorch中使用它
CUDARuntimeError: cudaErrorInvalidDevice: invalid device ordinal
错误 cudaErrorInvalidDevice: invalid device ordinal
说明您试图访问一个无效的GPU设备ID。
当您设置了 os.environ["CUDA_VISIBLE_DEVICES"] = "3"
,您实际上是告诉CUDA只看到一个GPU,即设备ID为3的GPU。因此,对于您的Python进程来说,此GPU现在的设备ID为0。
解决这个问题的方法是:
- 设置
os.environ["CUDA_VISIBLE_DEVICES"] = "3"
之后,您应该始终使用设备ID为0来引用此GPU。 - 更改
device_id
为0,并相应地更新其他与此ID相关的代码。
下面是更正后的代码:
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "3"
import torch
import cupy as cp
# 指定使用的GPU设备
device_id = 0 # 使用第3号GPU,但因为我们设置了CUDA_VISIBLE_DEVICES,所以在这里的ID是0
device = cp.cuda.Device(device_id)
device.use()
# 使用CuPy生成一个变量
cupy_variable = cp.array([1, 2, 3])
# 将CuPy变量转换为PyTorch张量
torch_tensor = torch.as_tensor(cupy_variable).cuda(device_id) # 此处也使用device_id为0
# 现在你有了一个PyTorch张量(torch_tensor),可以在PyTorch中使用它
export CUDA_VISIBLE_DEVICES=3
这个是在命令行执行还是写在py文件里面?
export CUDA_VISIBLE_DEVICES=3
是一个shell命令,用于设置环境变量。它应该在命令行中执行,而不是在Python脚本中。
如果您想在启动Python脚本之前设置此环境变量,您可以在命令行中这样做:
export CUDA_VISIBLE_DEVICES=3
python your_script.py
另一种方法是在一行中组合这两个命令:
CUDA_VISIBLE_DEVICES=3 python your_script.py
但是,如果您希望在Python脚本内部设置这个环境变量,您可以使用 os.environ
:
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "3"
请注意,如果在Python脚本中设置此环境变量,它只会影响从该脚本中导入或启动的任何子进程。这意味着您需要在导入任何可能使用CUDA的库(如TensorFlow或PyTorch)之前设置它。