nvidia-docker容器迁移导致GPU启动失败解决方案

引言

起因是最近发现一个很有趣的问题，当我的docker容器迁移到另一台服务器去，因为GPU版本不一致导致项目启动是会报错为：

CUDA error: CUDA_ERROR_NO_DEVICE
no CUDA-capable device is detected

而我使用的框架也同样提示 Decoder not initialized 由此，想写篇博文记录一下相关的问题。

问题分析

nvidia-docker的安装与启动可以看我上一篇文章中有介绍：

docker学习笔记（9）：nvidia-docker安装、部署与使用

这里想分析一下nvidia-docker的原理，原理图可以看如下图：

CUDA Driver API：GPU设备的抽象层，通过提供一系列接口来操作GPU设备，性能最好，但编程难度高，一般不会使用该方式开发应用程序。

CUDA Runtime API：对CUDA Driver API进行了一定的封装，调用该类API可简化编程过程，降低开发难度；

CUDA Libraries：是对CUDA Runtime API更高一层的封装，通常是一些成熟的高效函数库，开发者也可以自己封装一些函数库便于使用；

应用程序可调用CUDA Libraries或者CUDA Runtime API来实现功能，当调用CUDA Libraries时，CUDA Libraries会调用相应的CUDA Runtime API，CUDA Runtime API再调用CUDA Driver API，CUDA Driver API再操作GPU设备。

要在容器内操作GPU设备，需要将GPU设备挂载到容器里，Docker可通过–device挂载需要操作的设备，或者直接使用特权模式（不推荐）。NVIDIA Docker是通过注入一个 prestart 的hook 到容器中，在容器自定义命令启动前就将GPU设备挂载到容器中。至于要挂载哪些GPU，可通过NVIDIA_VISIBLE_DEVICES环境变量控制。

不管中间api实现得多复杂，最后还是需要去调用宿主机的CUDA driver，但是这样就会产生很多问题了，如果是两台服务器的驱动不一致，或者并不清楚到底对不对（比如说云环境。。），拿到一台新服务器没有进行版本检查，而导致了问题，可能可以尝试如下方式。

问题解决

这里会出现的情况有很多，比如说我们首先检查pytorch或者tensorflow的GPU是不是对的，可以运行如下代码。

pytorch的为：

# 直接看当前torch有没有调用cuda
import torch
flag = torch.cuda.is_available(