Tensorflow timeline 详解

tensorflow计算图研究纪要：

 

 

 

网上关于Tensorflow timeline 的资料很少，最近在做一些TF调优的事情，将这个图的分析总结如下，不对的地方欢迎指正：

 

1:代表的是 MEMCPYHtoD operation操作  H代表Host，我理解为cpu或者本机内存，D代表Device，这里表示GPU

2:GPU:0/stream  代表的是 cuda执行的时间，可以看到各个 operation是 有先后顺序的

3:代表前向计算的过程

4:可以看到这一块是不存在输入输出流的，这里仅仅代表了这个操作的占用的时间

5:job/replica  中节点所用时间代表的是   将这个操作指令压入队列的操作，一般用时很短，0.009毫秒

6:以Grad结束的操作其实是梯度操作，最后梯度的流出方向是  apply 也就是把梯度应用到 参数变量上。