最近跑程序,要监控损失变化情况,方便调试程序。发现tensorboard是个好工具,但一直没使用。本文是学习笔记,参考博客:理解 TensorBoard
主要用的是tf.summary, 主要包括:
1. tf.summary.histogram(生成Histogram 和distribution),
代码示例:
tf.summary.histogram('layer'+str(i+1)+'weights',weights)
2. tf.summary.scalar: 主要用于记录诸如:准确率、损失和学习率等单个值的变化趋势。
代码示例:
-
with tf.name_scope(
'accuracy'):
-
correct_prediction = tf.equal(tf.argmax(logits,
1), tf.argmax(y,
1))
-
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
-
tf.summary.scalar(
'accuracy', accuracy)
3. tf.summary.image:
作用:如果你的模型输入是图像,想检查每次输入的图像以保证正确性。iamges面板就可以显示出相应的输入图像,默认显示最新的输入图像。
代码示例:
-
x = tf.placeholder(tf.float32, shape=[
None, N_FEATURES], name=
'x')
-
x_image = tf.transpose(tf.reshape(x, [
-1,
3,
32,
32]), perm=[
0,
2,
3,
1])
-
tf.summary.image(
'input', x_image, max_outputs=
3)
-
y = tf.placeholder(tf.float32, [
None, N_CLASSES], name=
'labels')
其中参数max_outputs表示最多显示几张图片。
4. tf.summary.FileWriter(分别生成日志), 指定一个目录来告诉程序把文件放到哪里。然后运行的时候使用add_summary()来将某一步的summary数据记录到文件中
代码示例:
-
eval_writer = tf.summary.FileWriter(LOGDIR +
'/eval')
# Some other code
-
-
seval_writer.add_summary(tf.Summary(value=[tf.Summary.Value(tag=
'eval_accuracy', simple_value=np.mean(test_acc))]), i)
5. tf.summary.merge_all(整理日志操作的,sess.run一次就不用对上述分别run)
Graphs面板
用于从总体上看所构建的网络结构,可以显示训练数据流的方向和大小,训练时每个节点的用时,耗费内存的大小,以及参数的多少。主要分为两部分:主图(网络结构)和辅助节点(初始化、训练、保存等节点)。每个节点都是用tf.name_scope()来定义的。
tensorboard默认不记录每个节点的用时、耗费内存大小等信息的,要显示这些信息,需要再sess.run()中加入options和run_metadata参数。添加下列代码:
-
run_options = tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)
-
run_metadata = tf.RunMetadata()
-
s, lss, acc , _ = sess.run([merged_summary, loss, accuracy, train_step],
-
feed_dict={x: batch_x, y: batch_y, phase:
1},
-
options=run_options,
-
run_metadata=run_metadata)
-
summary_writer.add_run_metadata(run_metadata,
'step{}'.format(i))
-
summary_writer.add_summary(s, i)
Distributions面板
用于展示网络中各参数随训练步数增加的变化情况。如:权重的分布
-
with tf.name_scope(name):
-
W = tf.Variable(tf.truncated_normal(
-
[k, k, channels_in, channels_out], stddev=
0.1), name=
'W')
-
b = tf.Variable(tf.constant(
0.1, shape=[channels_out]), name=
'b')
-
conv = tf.nn.conv2d(inpt, W, strides=[
1, s, s,
1], padding=
'SAME')
-
act = tf.nn.relu(conv)
-
tf.summary.histogram(
'weights', W)
-
tf.summary.histogram(
'biases', b)
-
tf.summary.histogram(
'activations', act)
Histograms面板
和distributions是对同一数据不同方式的展现。是频数直方图的堆叠。
横轴代表权重值,纵轴代表训练步数。颜色越深表示时间越早,越浅表示越晚。