CUDNN_STATUS_INTERNAL_ERROR的解决办法
产生原因
Tensorflow CUDNN的内存分配错误从而引发的
解决办法
执行下行代码
export TF_FORCE_GPU_ALLOW_GROWTH=true
allow_growth 不进行设定的话,GPU的memory将全部使用因此会导致显存分配错的的情况时有发生。通过启动allow_growth = true确保使用量从而避免错误发生。
也就是分配器不会指定所有的GPU显存空间,而是根据模型需求增长。
参考
https://github.com/tensorflow/tensorflow/issues/24496#issuecomment-455265295