关于paddlepaddle使用推理模式时CUDA error:out of memory错误的解决办法

在paddlepaddle的export.py导出的模型（也就是生成__model__,params,deploy.yaml三个文件），
运行时报错Out of memory error on GPU 0. Cannot allocate 32.959229MB memory on GPU 0, available memory is only 3.287499MB.

其实显卡时内存足够的。

解决办法：

在程序运行的前面添加如下代码

os.environ[‘FLAGS_eager_delete_tensor_gb’] = “0.0”

主要作用是 GPU memory garbage collection optimization flags

另外 网上的其他办法做一个总结

1 如果是在多卡的环境下运行的出现错误
可以设置
CUDA_VISIBLE_DEVICES=“0” #后面是显卡编号，确保程序在这张显卡上运行

2 如果是在自己写的代码下运行报错
一定要开启model.eval()