先说一下我碰到这个问题的平台环境:操作系统是CentOS,多个GPU节点,cuda 9.0。运行pytorch和tensorflow都会提示CUDNN_STATUS_INTERNAL_ERROR错误。
对于此问题,解决办法有:
1、删除掉nvidia缓存,或者还需要重启。
rm -rf ~/.nv
但这个方法不适合我的运行环境,还是会继续提示同样的问题
2、运行pytorch或tensorflow的时候,指定CUDA_CACHE_PATH路径。关于这个路径,有的说是用绝对路径,有的说只需用相对路径。
CUDA_VISIBLE_DEVICES=0 CUDA_CACHE_PATH='~/.cudacache' python main.py
为了这个问题,耗费了我好几天的时间,终于用相对路径解决了此问题。
大家用第2种方法时,如果采用绝对路径会报错,就用相对路径试试。希望能帮到大家!