关于tensorflow在训练或者测试时越来越慢，重启之后又恢复

最新推荐文章于 2024-01-19 17:04:46 发布

仲夏199603

最新推荐文章于 2024-01-19 17:04:46 发布

阅读量8.5k

点赞数 1

分类专栏：深度学习机器学习自然语言处理

本文链接：https://blog.csdn.net/qq_32458499/article/details/79570627

版权

在使用Tensorflow-GPU 1.2版本训练时，遇到训练过程速度逐渐变慢的问题，原因可能是由于运行时session中定义的op导致的内存泄漏。通过在session中添加graph.finalize()来锁定graph，防止动态添加节点。此外，还有两种解决方案：一是每隔一定次数reset graph并重新加载模型；二是使用del命令释放eval()函数占用的内存，避免内存持续增长。

摘要由CSDN通过智能技术生成

问题描述：
Tensorflow 训练时运行越来越慢，重启后又变好。用的是Tensorflow-GPU 1.2版本，在GPU上跑，大概就是才开始训练的时候每个batch的时间很低，然后随着训练的推进，每个batch的耗时越来越长，但是当我重启后，又一切正常了？
问题解决：
因为在运行时的session里定义了tf的op导致的。这样每一次迭代都会在graph里增加新的节点，导致memory leak，程序越来越慢，最后强行退出。至于在运行时程序有没有增加节点，可以在session里定义graph.finalize()锁定graph，如果跑的时候报错就证明程序在动态添加节点导致的越来越慢。
修改前代码如下：

new_states = [tf.contrib.rnn.LSTMStateTuple(results['states'].c[i, :], results['states'].h[i, :]) for i in xrange(beam_size)]

# Convert singleton list containing a tensor to a list