Error response from daemon: Cannot restart container mdet_jc: OCI runtime create failed（fork/exec /）

1、问题描述

Error response from daemon: Cannot restart container mdet_jc: OCI runtime create failed: unable to retrieve OCI runtime error (open /run/containerd/io.containerd.runtioby/96150a100ace76f63e68ef9af199e29ccaee249d65af39422a2302a59359d6f6/log.json: no such file or directory): fork/exec /usr/bin/nvidia-container-runtime: no such file or unknown

2、问题来源

服务器使用的环境为cuda10.1,nvidia驱动384，多卡训练时，会时不时出现显卡丢失问题，于是将显卡驱动更新为最新版本，然后使用docker重启动已有容器出现了以上描述问题。

3、问题分析

官方说明，对于具体版本的cuda，只要安装的nvidia驱动大于给定版本即可，但是很有可能很新的版本存在不兼容问题。

于是重新卸载并安装较低版本的驱动430，算是解决了问题。

sudo ./NVIDIA-Linux-x86_64-450.57.run --uninstall
sudo ./NVIDIA-Linux-x86_64-430.14.run -no-opengl-files -no-x-check -no-nouveau-check

4、驱动显示不一致

nvidia-smi  #显示的版本较高，为驱动API
nvcc -V # 显示的版本较低，为实际版本，是cuda runtime的API