Tensorboard使用方法
Tensorboard的使用可大体归结为如下几步:
1) 在构建graph的过程中,记录你想要追踪的Tensor
2) Session会话运行上一步骤中的记录
3) 查看可视化效果
一个用三层神经网络实现回归问题的小例子。
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
def add_layer(inputs, in_size, out_size, n_layer, activation_function = None):
# add one more layer and return the output of this layer
layer_name = 'layer%s' % n_layer
with tf.name_scope('layer'):
with tf.name_scope('weights'):
Weights = tf.Variable(tf.random_normal([in_size, out_size]), name = 'W')
**tf.summary.histogram(layer_name + '/weights', Weights)**
with tf.name_scope('biases'):
biases = tf.Variable(tf.zeros([1,out_size]) + 0.1, name = 'b')
**tf.summary.histogram(layer_name + '/biases', biases)**
with tf.name_scope('Wx_plus_b'):
Wx_plus_b = tf.add(tf.matmul(inputs, Weights), biases, name = 'Wpb')
if activation_function is None:
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b)
**tf.summary.histogram(layer_name + '/outputs', outputs)**
return outputs
#define placeholder for inputs
with tf.name_scope('inputs'):
xs = tf.placeholder(tf.float32, [None, 1], name = 'x_input')
ys = tf.placeholder(tf.float32, [None, 1], name = 'y_input')
# make up some real data
x_data = np.linspace(-1.0, 1.0, 300, dtype = np.float32)[:,np.newaxis]
noise = np.random.normal(0.0, 0.05, x_data.shape)
y_data = np.square(x_data) + 0.5 + noise
# add hidden layer and output layer
l1 = add_layer(xs, 1, 10, n_layer = 1, activation_function = tf.nn.relu)
prediction = add_layer(l1, 10, 1, n_layer = 2, activation_function = None)
# the error between prediction and real data
with tf.name_scope('loss'):
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys - prediction), reduction_indices = [1]), name = 'L')
**tf.summary.scalar('loss', loss)**
with tf.name_scope('train'):
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
init = tf.initialize_all_variables()
with tf.Session() as sess:
sess.run(init)
fig = plt.figure()
ax = fig.add_subplot(1,1,1)
ax.scatter(x_data, y_data)
plt.show(block = False)
**merged =tf.summary.merge_all()**
**writer = tf.summary.FileWriter('/tmp/tensorlogs/ex5', sess.graph)**
for i in range(1000):
sess.run(train_step, feed_dict = {xs : x_data, ys : y_data})
if i % 50 == 0:
# print(i, sess.run(loss, feed_dict = {xs : x_data, ys : y_data}))
try:
ax.lines.remove(lines[0])
except Exception:
pass
result, prediction_value = sess.run([merged, prediction], feed_dict = {xs : x_data, ys : y_data})
lines = ax.plot(x_data, prediction_value, 'r-', lw = 5)
plt.pause(0.1)
**writer.add_summary(result, i)**
下面具体分解上述的3个步骤
1) 在上述示例中用了tf.summary.histogram()和tf.summary.scalar()记录要追踪的Tensor,前者可汇总和记录标量数据,如11行的loss;后者可汇总和记录变量为直方图,如41行的Weights。此外,tf.summary还可汇总记录图片(images),音频(Audio)等内容。
2) 在Session中运行之前,要将上述所有汇总记录做一个合并,以便统一运行,如52行的merged所示,还要指定运行后存放数据记录的日志文件的位置,如53行的writer所示。接下来,就可以通过运行获取数据记录了,如62行的result所示,这里为了简洁,将result和prediction_value放在了一起运行,也可以拆成两行执行。程序要进行多次训练,如54行的for所示,每隔50次记录下追踪数据,如56行if所示,每次记录通过writer.add_summary()添加到日志文件中。
3) 程序运行结束后,打开终端,输入tensorboard –logdir=path,其中的path为指定的日志文件存放路径,如53行/tmp/tensorlogs/ex5,运行后会看到下图所示:
在浏览器的地址栏中输入上图中所示的地址http: //DESKTOP- :6006,即可。
关于TensorBoard的函数
Summary:所有需要在TensorBoard上展示的统计结果。
tf.name_scope():为Graph中的Tensor添加层级,TensorBoard会按照代码指定的层级进行展示,初始状态下只绘制最高层级的效果,点击后可展开层级看到下一层的细节。
tf.summary.scalar():添加标量统计结果。
tf.summary.histogram():添加任意shape的Tensor,统计这个Tensor的取值分布。
tf.summary.merge_all():添加一个操作,代表执行所有summary操作,这样可以避免人工执行每一个summary op。
tf.summary.FileWriter:用于将Summary写入磁盘,需要制定存储路径logdir,如果传递了Graph对象,则在Graph Visualization会显示Tensor Shape Information。执行summary op后,将返回结果传递给add_summary()方法即可。