tensorflow训练越来越慢的解决办法——重置/清空计算图

最新推荐文章于 2024-08-23 06:30:00 发布
最新推荐文章于 2024-08-23 06:30:00 发布
阅读量5.1k 收藏 8
点赞数
分类专栏： 深度学习 编程错误解决 环境配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27403925/article/details/103673700
版权
在TensorFlow训练过程中，由于未使用feed和fetch，导致计算图不断增大，训练时间逐渐增加。每组数据的训练时长从9秒飙升至207秒。解决方案是每组数据训练后清空计算图，实践证明此方法有效。
摘要由CSDN通过智能技术生成

在tensorflow训练中，每组训练速度越来越慢，时长越来越高、从运行日志中可以看到：每个视频花费时间从9s到165s、到207s。这样每组数据有81个视频、导致每组数据训练时长从12分钟变到3小时变到4小时（一开始只需要十几分钟）~~虽然还差几组数据就训练完了，但这速度这简直不能忍

#·····································运行日志1····································#

100%|##################################################################################| 81/81 [12:56<00:00,  9.59s/it]
Predicting on frame of L:\collect_program\sign_language\sign-language-gesture-recognition-master\dataset\frames\train-frames\s10-Enemy

100%|##################################################################################| 81/81 [13:54<00:00, 10.30s/it]
Predicting on frame of L:\collect_program\sign_language\sign-language-gesture-recognition-master\dataset\frames\train-frames\s11-Son

100%|##################################################################################| 81/81 [16:42<00:00, 12.38s/it]
Predicting on frame of L:\collect_program\sign_language\sign-l
最低0.47元/天 解锁文章
LeeOhe丶
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于tensorflow在训练或者测试时越来越慢，重启之后又恢复
仲夏
03-15 8518
问题描述： Tensorflow 训练时运行越来越慢，重启后又变好。用的是Tensorflow-GPU 1.2版本，在GPU上跑，大概就是才开始训练的时候每个batch的时间很低，然后随着训练的推进，每个batch的耗时越来越长，但是当我重启后，又一切正常了？ 问题解决： 因为在运行时的session里定义了tf的op导致的。这样每一次迭代都会在graph里增加新的节点，导致memory l...
解决Tensorflow训练模型越到后面计算效率越慢的问题
tiny_zgb的博客
04-03 2380
Session中执行(你的graph).finalize()，如果报错则证明Session在计算过程中不断的向graph中增加结点，导致内存越来越满（GPU memory leak），计算效率降低。 以下面案列为例：batch_ys获取训练样本，batch_ys为样本标签，有0，1，2，3共4个类，tf中需要转换成[[1,0,0,0][0,1,0,0]]格式的标签，用tf.sparse_to_de...
深度学习框架TensorFlow 性能优化
最新发布
qq_27815483的博客
08-23 1289
深度学习框架TensorFlow 性能优化
Tensorflow训练模型越来越慢的2种解决方案
09-18
今天小编就为大家分享一篇Tensorflow训练模型越来越慢的2种解决方案，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
关于Tensorflow 训练时越来越慢，重启又好了
我就是我不一样的美男子！
08-24 7489
用的是Tensorflow 1.2版本，在CPU上跑，大概就是才开始训练的时候每个batch的时间很低，然后随着训练的推进，每个batch的耗时越来越长，但是当我重启后，又一切正常了，不知道这个是什么问题？ tensorflow 运行时间越长速度越慢问题
加载数据操作不当，导致tensorflow 训练越来越慢的原因
sanxiaw的博客
04-20 1107
在Session后的循环中加载数据时，对数据进行了tf.reshape, tf.transpose等操作，将原始narray格式的数据变成了tensor,会导致该步骤添加到计算图中，导致计算图越来越大以及ensorflow 训练越来越慢的原因。 加载数据格式：.mat 加载方式：scio.loadmat(file_path) # 错误格式： x_in = tf.compat.vi.placehol...
长短期记忆（LSTM）-tensorflow代码实现（10分钟搞定，不要急躁）
热门推荐
Jason160918的博客
10-20 1万+
作者：Jason 时间：2017.10.17 长短期记忆（LSTM）神经网络是之前讲的RNN的一种升级版本，我们先来聊聊RNN的弊端。 RNN的弊端 之前我们说过, RNN 是在有顺序的数据上进行学习的. 为了记住这些数据, RNN 会像人一样产生对先前发生事件的记忆. 不过一般形式的 RNN 就像一个老爷爷, 有时候比较健忘. 为什么会这样呢? 想像现在有这样一个 RNN, 他
wh常用命令
This is bill的专属博客
04-03 4325
0x01 查看显卡 spci | grep -i vga 0x02 查看系统版本 cat /proc/version uname -a 0x03 查看NVIDIA 显卡 nvidia-smi 0x04 查看CUDA版本 nvcc -V 0x05 不断刷新一个命令 watch 0x06 查找一个命令 which 0x07 docker使用 ref...
基于Keras的OpenAI-gym强化学习的车杆/FlappyBird游戏
aohun0743的博客
08-23 1856
强化学习 课程：Q-Learning强化学习(李宏毅)、深度强化学习 强化学习是一种允许你创造能从环境中交互学习的AI Agent的机器学习算法，其通过试错来学习。如上图所示，大脑代表AI Agent并在环境中活动。当每次行动过后，Agent接收到环境反馈。反馈包括回报Reward和环境的下个状态State，回报由模型设计者定义。如果类比人类学习自行车，可以将车从起始点到当前位...
浅析强化学习及使用Policy Network实现自动化控制
CSDN 人工智能
10-01 3269
浅析强化学习强化学习（Reinforcement Learning）是机器学习的一个重要分支，主要用来解决连续决策的问题。强化学习可以在复杂、不确定的环境中学习如何实现我们设定的目标。强化学习的应用场景非常广，几乎包括了所有需要做一系列决策的问题，比如控制机器人的电机让它执行特定任务，给商品定价或者库存管理，玩视频或棋牌游戏等。强化学习也可以应用到有序列输出的问题中，因为它可以针对一系列变化的环境...
深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
qq_41568188的博客
06-02 5773
在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。** GPU内存占用率问题 这往往是由于模型的大小以及batch size的大小，来影响这个指标。当你发下你的GPU占用率很小的时候，比如40%，70%
tensorflow越跑越慢_关于Tensorflow 训练时,每个batch越来越慢
weixin_39955355的博客
12-19 406
问题所在：在运行时的session里定义了tf的op导致的，这样每一次迭代都会在graph里增加新的节点，导致memory leak，程序越来越慢，最后强行退出。至于在运行时程序有没有增加节点，可以在session里定义graph.finalize()锁定graph，如果跑的时候报错就证明程序在动态添加节点导致的越来越慢。解决问题：1、不要再session中定义新op，全部都放到graph中2、n...
python学习教程：Tensorflow训练模型越来越慢的两种可行方案
python函数基础教程
04-23 3283
@本文来源于公众号：csdn2299，喜欢可以关注公众号 程序员学府 今天小编就为大家分享一篇Tensorflow训练模型越来越慢的2种解决方案，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 1 解决方案 【方案一】 载入模型结构放在全局，即tensorflow会话外层。 '''载入模型结构:最关键的一步''' saver = tf.train.Saver() '''建立会话''...
tensorflow越跑越慢_tensorflow如何解决越运行越慢的问题
weixin_39931362的博客
12-19 944
这几天写tensorflow的时候发现随着迭代的次数越来越多，tensorflow跑的速度越来越慢。查找才发现是tensorflow不断的给之前的图里加节点，导致占用的内存越来越大，然后我尝试了网上的各种方法，终于发现了一个靠谱的方法，先放上代码tf.reset_default_graph()graph = tf.Graph()with graph.as_default() as g:x_data...
Tensorflow训练渐渐变慢，迭代一段时间卡死
yinxingtianxia的博客
10-12 1万+
经常会遇见在训练过程中，运行越来越慢直至系统卡死，强制重启后重新训练又恢复。 知乎讨论：https://www.zhihu.com/question/58577743 Stackoverflow讨论： Stackoverflow 讨论 https://stackoverflow.com/questions/39070708/why-sometimes-tensorflow-runs-slow
【tensorflow】重置/清除计算图
Beryl的博客
10-27 659
转自：https://blog.csdn.net/u014636245/article/details/84073239，侵删 当在搭建网络查看计算图时，如果重复运行程序会导致重定义报错。为了可以在同一个线程或者交互式环境中（ipython/jupyter）重复调试计算图，就需要使用这个函数来重置计算图，随后修改计算图再次运行。 #重置计算图，清理当前定义节点 import tensorflow as tf tf.reset_default_graph() #Your model defined b
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值