Tensorboard Primer Plus（一）

最新推荐文章于 2024-03-04 23:44:10 发布

CATs_001

最新推荐文章于 2024-03-04 23:44:10 发布

阅读量111

点赞数 1

分类专栏： Tricks for DeepLearning

本文链接：https://blog.csdn.net/happyxghero/article/details/96117056

版权

Tricks for DeepLearning 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

这篇主要是详细介绍TensorBoard相关功能，熟练使用TensorBoard能提高对模型训练过程的理解

一、计算图的结构

首先，先放出Github的TensorBoard项目：GitHub地址，下面代码定义了一个简单的用于实现向量加法的计算图：

import tensorflow as tf

input1 = tf.constant([1.0, 2.0, 3.0], name = "input1")
input2 = tf.Variable(tf.random_uniform([3]), name = "input2")
output = tf.add_n([input1, input2], name = "add")

# 其中，input1为常量，input2为变量

writer = tf.summary.FileWriter("./log", tf.get_default_graph())
# 这里生成了一个具有写权限的日志文件操作对象，将当前命名空间的计算图写进日志中

writer.close()

运行以上代码后，会在目的路径下产生日志文件，然后就可以用如下的命令来启动TensorBoard服务：

python3 code.py --logdir=./log

根据上述内容描述，tensorboard的启动过程可以概括为以下几步：

1.创建writer，写日志文件 writer=tf.summary.FileWriter('/path/to/logs', tf.get_default_graph())

2.保存日志文件 writer.close()

3.运行可视化命令，启动服务 tensorboard –logdir /path/to/logs

4.打开可视化界面通过浏览器打开服务器访问端口http://localhost:6006

下面是TensorBoard的主界面：

此版本的tensorboard导航栏中只显示有内容的栏目，如GRAPHS，其他没有相关数据的子栏目都隐藏在INACTIVE栏目中，点击这些子栏目则会显示一条如图4所示的提示信息，指示使用者如何序列化相关数据。除此之外，在栏目的数量上也有增加，新增了DISTRIBUTIONS、PROJECTOR、TEXT、PR CURVES、PROFILE五个栏目。

Tensorboard的可视化功能很丰富。SCALARS栏目展示各标量在训练过程中的变化趋势，如accuracy、cross entropy、learning_rate、网络各层的bias和weights等标量。如果输入数据中存在图片、视频，那么在IMAGES栏目和AUDIO栏目下可以看到对应格式的输入数据。在GRAPHS栏目中可以看到整个模型计算图结构。在HISTOGRAM栏目中可以看到各变量（如：activations、gradients，weights 等变量）随着训练轮数的数值分布，横轴上越靠前就是越新的轮数的结果。DISTRIBUTIONS和HISTOGRAM是两种不同形式的直方图，通过这些直方图可以看到数据整体的状况。PROJECTOR栏目中默认使用PCA分析方法，将高维数据投影到3D空间，从而显示数据之间的关系。

对于这样的计算图，有下面的说明：

在使用TensorBoard的时候，我们可以巧妙地使用命名空间来使得结构变得更加易读。通过定义子命名空间整理结点后的效果。该计算图只显示了最顶层的各命名空间之间的数据流关系，其细节信息被隐藏起来了，这样便于把握主要信息。将上面的代码做如下修改，就会得到如下的计算图：

import tensorflow as tf

with tf.name_scope('parameter'):
    input1 = tf.constant([1.0, 2.0, 3.0], name = "input1")
    input2 = tf.Variable(tf.random_uniform([3]), name = "input2")

with tf.name_scope('calc'):
    output = tf.add_n([input1, input2], name = "add")

writer = tf.summary.FileWriter("./log2", tf.get_default_graph())
writer.close()