解决could not create cudnn handle: CUDNN_ STATUS_ INTERNAL_ ERROR —— 一张显卡运行多个任务出现的错误

问题背景

在实验室的gpu服务器上炼丹，因为使用的同学比较多，所以难免出现不够用的情况。

如果我想使用上图蓝圈内gpu。在跑我的tensorflow(keras)程序时，会报错：

could not create cudnn handle:CUDNN_STATUS_INTERNAL_ERROR

我的数据集并不大，2GB以内，按理说空余的显存都比我的数据集大了，不应该会运行出错。

解决

之所以报错是因为tensorflow默认运行会强制占满显存空间，因为显存已经有人用了，并不是空状态，显存使用会产生冲突。
重要参考链接 受益匪浅，致敬！

使用

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
sess = tf.Session(config=config)

或者：

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.5#根据实际情况设置使用比例
session = tf.Session(config=config)

可以解决问题

链接2
链接3
并没有解决我出现的问题，3中会报错找不到tensorflow.compat.v1