【深度学习】记录为什么没有调用GPU

排查CLIP为什么评测推理没有调用GPU，主要是这个代码：https://github.com/OFA-Sys/Chinese-CLIP/blob/master/cn_clip/eval/extract_features.py

第一次认为：因为model并没有to.cuda()。
但是又发现，model.cuda(args.gpu) # 已经加载到GPU上了。
并且，pytorch中 model.cuda() 和mode.to(cuda) 没有区别。

第二次，还是在P40上启动一下，使用nvidia-smi看看GPU是否被使用了。

以下from GPT-4o，
在使用图像模型提取图片特征时，GPU利用率为0可能是由于多种原因导致的。以下是一些常见的原因和解决方法：

1. 确认使用了GPU

确保你的代码实际上是使用了GPU而不是CPU。以下是一些检查和设置GPU使用的步骤：

• TensorFlow:

  import tensorflow as tf
  print("Num GPUs Available: ", len(tf.config.list_physical_devices('GPU')))
  

• PyTorch:

  import torch
  print("Is CUDA available: ", torch.cuda.is_available())
  

2. 确认GPU驱动和CUDA版本

确保你安装了正确版本的GPU驱动和CUDA工具包，并且它们与所使用的深度学习框架兼容。

• 检查CUDA版本:

  nvcc --version
  

• 检查驱动版本:

  nvidia-smi
  

3. 确认模型和数据在GPU上

确保你的模型和数据都被正确地加载到GPU上。

• TensorFlow:

  with tf.device('/GPU:0'):
      # Your model and data operations
  

• PyTorch:

  device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
  model.to(device)
  inputs = inputs.to(device)
  

4. 检查批处理大小

如果批处理大小（batch size）太小，GPU利用率可能会很低。尝试增加批处理大小以更好地利用GPU。

5. 确认数据加载器的效率

数据加载器可能成为瓶颈，导致GPU等待数据。确保数据加载器使用了多线程或多进程来加速数据加载。

• TensorFlow:

  dataset = dataset.prefetch(buffer_size=tf.data.experimental.AUTOTUNE)
  

• PyTorch:

  data_loader = torch.utils.data.DataLoader(dataset, batch_size=32, num_workers=4, pin_memory=True)
  

6. 确认模型推理代码

确保你在进行特征提取时，模型推理代码没有问题，并且确实在GPU上运行。

7. 确认没有GPU内存不足

如果GPU内存不足，可能会导致程序回退到CPU。使用nvidia-smi查看GPU内存使用情况。

8. 确认GPU没有被其他进程占用

使用nvidia-smi查看当前GPU的使用情况，确保没有其他进程占用GPU资源。

9. 检查框架和库的版本

确保你使用的深度学习框架和相关库是最新版本，因为旧版本可能存在性能问题或不支持某些功能。

10. 检查代码逻辑

确保你的代码逻辑没有问题，特别是数据预处理和模型推理部分。

示例代码

以下是一个简单的示例代码，展示了如何在PyTorch中确保模型和数据在GPU上运行：

import torch
import torchvision.models as models
from torchvision import transforms
from PIL import Image

# 检查GPU是否可用
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

# 加载预训练模型并将其移动到GPU
model = models.resnet50(pretrained=True)
model = model.to(device)
model.eval()

# 加载并预处理图像
image = Image.open("path_to_image.jpg")
preprocess = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
input_tensor = preprocess(image)
input_batch = input_tensor.unsqueeze(0)  # 创建一个批次

# 将输入数据移动到GPU
input_batch = input_batch.to(device)

# 确保模型在GPU上进行推理
with torch.no_grad():
    output = model(input_batch)

# 提取特征
features = output.cpu().numpy()
print(features)

通过上述步骤和检查，你应该能够找到GPU利用率为0的原因并解决问题。