【工程实践】大模型推理指定GPU

前言

        使用大模型进行推理，一般是在docker容器中，记录推理过程中遇到的问题。

问题描述

       在使用docker容器时，在docker run时，如果使用的是--gpus all，这样在进入容器之后，会使用全部的GPU，如下图所示。但是在微调大模型，或者是调用库做训练、推理时，具体代码中可能未指定具体的GPU，这样则会默认使用第一块GPU，也就是0号卡，此时0号卡的显存占用已经接近上限，再有模型加载进显存便会报出OOM的错误。

解决方案

1.未启动容器前

        在docker run之前可以先nvidia-smi看下卡的资源占用情况，在docker run时指定特定的GPU，比如--gpus "device=2" ，这样进入容器之后，就只能看到2号卡。这样可以避免在代码中使用.cuda默认使用第一块卡的情况。

2.启动容器后

        如果在docker run 时，已经指定了--gpus all，那在容器中可以，可以设置 CUDA_VISIBLE_DEVICES 环境变量，使容器内的程序只看到指定的 GPU 卡。

export CUDA_VISIBLE_DEVICES=2

其他问题记录

        docker中的占位

FROM qwenllm/qwen:cu121

# 其他构建步骤

# 设置ENTRYPOINT为一个占位符命令
#ENTRYPOINT bash

# CMD 设置为一个空命令，这样可以在容器启动时不执行任何操作
CMD ["/bin/sh", "-c", "tail -f /dev/null"]