暑假补强-3：使用tensorboard对神经网络以及结果可视化

前情概要

上一次我们跟随着莫烦的视频用tensorflow写了一个简单的神经网络并将结果可视化了，详见
暑假补强-2：用tensorflow写简单的神经网络并将结果可视化（跟着莫烦python的视频学习）
接下来，我们对原有的代码进行一下改动，得到用tensorboard画出酷酷的整个神经网络的结构图以及参数变化图

完整代码

import tensorflow as tf
import numpy as np

def add_layer(input_data, in_size, out_size, n_layer, activation_function=None):
    layer_name = 'layer' + str(n_layer)
    with tf.name_scope(layer_name):
        Weights = tf.Variable(tf.random_normal([in_size, out_size]), name='W')
        tf.summary.histogram('Weights', Weights)
        biases = tf.Variable(tf.zeros([1, out_size]) + 0.1, name='b')
        tf.summary.histogram('biases', biases)
        with tf.name_scope('Wx_plus_b'):
            Wx_plus_b = tf.matmul(input_data, Weights) + biases
        if activation_function is None:
            outputs = Wx_plus_b
        else:
            outputs = activation_function(Wx_plus_b)
            tf.summary.histogram('outputs', outputs)
        return outputs

x_data = np.linspace(-1, 1, 300, dtype=np.float32)[:,np.newaxis]
noise = np.random.normal(0, 0.05, x_data.shape).astype(np.float32)
y_data = np.square(x_data) - 0.5 + noise

with tf.name_scope("inputs"):
    xs = tf.placeholder(tf.float32, [None, 1], name='x_input')
    ys = tf.placeholder(tf.float32, [None, 1], name='y_input')

l1 = add_layer(xs, 1, 10, 1,activation_function=tf.nn.relu)
prediction = add_layer(l1, 10, 1, 2,activation_function=None)

with tf.name_scope("loss"):
    loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction, name='pingfang'), reduction_indices=[1], name="reduce_sum"), name="reduce_mean")
    tf.summary.scalar('loss', loss)
with tf.name_scope('train'):
    train_step = tf.train.ProximalGradientDescentOptimizer(0.1).minimize(loss)

sess = tf.Session()
merged = tf.summary.merge_all()
writer = tf.summary.FileWriter('graph/', sess.graph)
init = tf.global_variables_initializer()
sess.run(init)

for i in range(1000):
    sess.run(train_step, feed_dict={xs : x_data, ys : y_data})
    if i % 50 == 0:
        result = sess.run(merged, feed_dict={xs: x_data, ys: y_data})
        writer.add_summary(result, i)

代码剖析

1. 首先 看一下add_layer这个部分

def add_layer(input_data, in_size, out_size, n_layer, activation_function=None):
    layer_name = 'layer' + str(n_layer)
    with tf.name_scope(layer_name):
        Weights = tf.Variable(tf.random_normal([in_size, out_size]), name='W')
        tf.summary.histogram('Weights', Weights)
        biases = tf.Variable(tf.zeros([1, out_size]) + 0.1, name='b')
        tf.summary.histogram('biases', biases)
        with tf.name_scope('Wx_plus_b'):
            Wx_plus_b = tf.matmul(input_data, Weights) + biases
        if activation_function is None:
            outputs = Wx_plus_b
        else:
            outputs = activation_function(Wx_plus_b)
            tf.summary.histogram('outputs', outputs)
        return outputs

这个函数的参数里新加了一个n_layer，是为了区分不同的层，
如图

给每一层起了名字以后，在这里面的参数都属于这一层

代码中，把Weights命名成W，biases命名成b，并且对Weights，biases和outputs的变化画进了一个直方图里

• 再把loss的变化反映到scalars图中

with tf.name_scope("loss"):
    loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction, name='pingfang'), reduction_indices=[1], name="reduce_sum"), name="reduce_mean")
    tf.summary.scalar('loss', loss)

这个loss的变化看起来还有点怪异，中间暴涨的原因可能是学习步长太长，突然偏离了正确值。

• 建立会话，将所有的summary整合到一起，并将结果写入到指定目录下

sess = tf.Session()
merged = tf.summary.merge_all() # 整合
writer = tf.summary.FileWriter('graph/', sess.graph) # 写入到graph目录下
init = tf.global_variables_initializer()
sess.run(init)

• 训练
  add_summary()中的i很重要！i对应的是global_step参数，如果没有i，那么scalars画出来的图就只是一条直线。

for i in range(1000):
	sess.run(train_step, feed_dict={xs:x_data, ys:y_data})
	# 每50次将结果整合画图
	if i % 50: == 0:
		result = sess.run(merged, feed_dict{xs:x_data, ys:y_data})
		writer.add_summary(result, i)

获得结果

将代码运行一次以后，在graph目录下就能得到一个文件。
此时，我们要从命令行窗口运行这个文件

• 进入conda环境

• 进入graph所在目录
  

• 输入并复制地址
  输入tensorboard --logdir=graph --host localhost --port 8088
  

• 用谷歌浏览器打开
  http://localhost:8088/

成果