如何使用timeline profile tensorflow 程序

https://blog.csdn.net/Scotthuang1989/article/details/77601458

和其他的程序一样,tensorflow也有两类问题 
* 功能问题:这类问题适合用tfdbg来调试,如果问题出在graph之外,那么就是一个简单的python程序了,直接上pdb, 或者打log 
* 性能问题:这类使用timeline, 同样如果是graph之外,那么使用cPrfile, line_profile就好了。

如何添加代码

  • 生成RunMetaData
run_metadata = tf.RunMetadata()
_, l, lr, predictions = sess.run(
            [optimizer, loss, learning_rate, train_prediction],
            feed_dict=feed_dict,
            options=tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE),
            run_metadata=run_metadata)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 生成Trace
from tensorflow.python.client import timeline
trace = timeline.Timeline(step_stats=run_metadata.step_stats)
  • 1
  • 2
  • 写入Trace到JSON文件
trace_file = open('timeline.ctf.json', 'w')
trace_file.write(trace.generate_chrome_trace_format())
  • 1
  • 2

如何查看结果

打开chrome, 进到这个页面: chrome://tracing, 然后load刚刚生成的JSON文件就可以了。效果如下

这里写图片描述

需要注意的地方

  • 你需要把这个库文件 libcupti.so 所处的路径放入到 LD_LIBRARY_PATH环境变量里面才能使用这个功能。一般情况下这个文件在这个目录: /usr/local/cuda/extras/lib64. 如果没有使用这个命令安装 sudo apt-get install libcupti-dev
  • 第一次run的trace会有一样不一样,第一次的时候大概是这样的,所以建议使用100次以后的RunMeataDatade。 
    这里写图片描述

  • JSON文件里面只包含一次的结果, 如果需要合并多次的结果,可以参考这个解决方案tensorflow_profiling

配合line_profiler使用需要注意的地方

有时候我们会怀疑其实耗时间的代码是在graph之外,那么这个时候可以直接使用传统的python方法了,我习惯使用line_profiler分析每行代码消耗的时候,这里有一个地方需要注意: 
因为运行 lin_profiler 是使用的这个命令,这个命令是把你的py文件作为一个模块加载的,但是很多tensorflow 都包含这样的代码, 我采取的方法是不使用 tf.app 的所有功能。这样的话 line_profiler可以正常使用,但是略显麻烦,后续发现了更好的方法再更新。

if __name__ == '__main__':
  tf.app.run()
  • 1
  • 2

代码

我学习这个功能写的代码放在这里profile_tensorflow

阅读更多
个人分类: tensorflow
上一篇Ubuntu16.04 python3.5 Caffe 安装步骤记录
下一篇superset + KYLIN + HIVE AND IMPALA
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭