【linux】Ollama 服务无法使用GPU的原因

在推理时使用Ollama ps 即可查看负载情况：

ollama ps

如果是docker安装则执行

docker exec -it ollama ollama ps

 执行如下可以看到模型是只运行在CPU上

1. 检查 NVIDIA 驱动和 CUDA 安装

确保宿主机（Host）已正确安装 NVIDIA 驱动和 CUDA 工具包。可以通过以下命令检查：

nvidia-smi

如何安装CUDA可以查看我的另一篇文章《ubuntu22 安装CUDA》

2. 安装 NVIDIA Container Toolkit

Docker 需要使用 NVIDIA Container Toolkit 来支持 GPU。安装步骤如下：

1. 添加 NVIDIA 的仓库和密钥：

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update

2. 安装 NVIDIA Container Toolkit：

   sudo apt-get install -y nvidia-container-toolkit

3. 重启 Docker 服务：

   sudo systemctl restart docker

4. 验证安装：

   docker run --rm --gpus all nvidia/cuda:12.0.1-runtime-ubuntu22.04 nvidia-smi

   如果显示 GPU 信息，说明配置成功。

3. 重装ollama

docker rm ollama

docker rmi ollama/ollama

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

结尾： 打开微信扫一扫以下二维码，或者手机长按二维码保存再到微信扫一扫选择相册刚才保存的二维码图片。

​

谢谢阅读!~~