https://blog.csdn.net/Scotthuang1989/article/details/77601458
和其他的程序一样,tensorflow也有两类问题
* 功能问题:这类问题适合用tfdbg来调试,如果问题出在graph之外,那么就是一个简单的python程序了,直接上pdb, 或者打log
* 性能问题:这类使用timeline, 同样如果是graph之外,那么使用cPrfile, line_profile就好了。
如何添加代码
- 生成RunMetaData
run_metadata = tf.RunMetadata()
_, l, lr, predictions = sess.run(
[optimizer, loss, learning_rate, train_prediction],
feed_dict=feed_dict,
options=tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE),
run_metadata=run_metadata)
- 1
- 2
- 3
- 4
- 5
- 6
- 生成Trace
from tensorflow.python.client import timeline
trace = timeline.Timeline(step_stats=run_metadata.step_stats)
- 1
- 2
- 写入Trace到JSON文件
trace_file = open('timeline.ctf.json', 'w')
trace_file.write(trace.generate_chrome_trace_format())
- 1
- 2
如何查看结果
打开chrome, 进到这个页面: chrome://tracing, 然后load刚刚生成的JSON文件就可以了。效果如下
需要注意的地方
- 你需要把这个库文件
libcupti.so
所处的路径放入到 LD_LIBRARY_PATH环境变量里面才能使用这个功能。一般情况下这个文件在这个目录:/usr/local/cuda/extras/lib64
. 如果没有使用这个命令安装sudo apt-get install libcupti-dev
第一次run的trace会有一样不一样,第一次的时候大概是这样的,所以建议使用100次以后的RunMeataDatade。
JSON文件里面只包含一次的结果, 如果需要合并多次的结果,可以参考这个解决方案tensorflow_profiling
配合line_profiler使用需要注意的地方
有时候我们会怀疑其实耗时间的代码是在graph之外,那么这个时候可以直接使用传统的python方法了,我习惯使用line_profiler分析每行代码消耗的时候,这里有一个地方需要注意:
因为运行 lin_profiler 是使用的这个命令,这个命令是把你的py文件作为一个模块加载的,但是很多tensorflow 都包含这样的代码, 我采取的方法是不使用 tf.app 的所有功能。这样的话 line_profiler可以正常使用,但是略显麻烦,后续发现了更好的方法再更新。
if __name__ == '__main__':
tf.app.run()
- 1
- 2
代码
我学习这个功能写的代码放在这里profile_tensorflow