tensorflow可视化--tensorboard

在训练过程中，可以通过tensorboard来查看运行的图以及误差等数据的变化过程，以下介绍tensorboard的几个模块。
（一）简单的结构说明
(1)整个大框架说明
如图1所示，tensorboard的结构包括：inputs，layer1，layer2，loss，train这几个大框架，这几个框架是在同一层次的。

 with tf.name_scope(layer_name): #定义层
 with tf.name_scope('inputs'): #定义输入
 with tf.name_scope('loss'):  #定义损失
 with tf.name_scope('train'):  #定义训练
 writer = tf.summary.FileWriter("Desktop/",sess.graph) #选定可视化存储目录 

图1 整个网络的大框架结构图
（2）每个layer的细则
如图2所示，tensorboard的每一层里面包含：weight，biases，Wx_plus_b这几个节点需要设置，

   with tf.name_scope(layer_name):   #层（下面为每层包含的元素）  
        with tf.name_scope('weights'):    #权值
            Weights = tf.Variable(tf.random_normal([in_size,out_size]))   
            tf.summary.histogram(layer_name+"/weights",Weights) #变量    
        with tf.name_scope('biases'):    #偏置
            biases = tf.Variable(tf.zeros([1,out_size])+0.1) 
            tf.summary.histogram(layer_name+"/biases",biases) #常量
        with tf.name_scope('Wx_plus_b'):    #预测值
            Wx_plus_b = tf.matmul(inputs,Weights)+biases 
            tf.summary.histogram(layer_name+"/Wx_plus_b",Wx_plus_b) 
        outputs = activation_function(Wx_plus_b) #输出   
        tf.summary.histogram(layer_name+"/outputs",outputs)

注意：所有操作之后，必须要merge所有设置的kashima节点并且给定一个放置生成图的文件夹。

#合并到Summary中    
merged = tf.summary.merge_all()    
#选定可视化存储目录    
writer = tf.summary.FileWriter("Desktop/",sess.graph)  

需要查看生成结果，则需要在终端输入：

tensorboard --logdir="Desktop/"

得到一个网址，打开网址即可查看。

图2 网络层的细则图
（3）网络全图
如图3所示，我们可以看到网络的每个模块包含哪些部分以及数据流向：

import tensorflow as tf    
import numpy as np    
sess = tf.Session()
def add_layer(inputs,in_size,out_size,n_layer,activation_function=None): #activation_function=None默认线性函数    
    layer_name="layer%s" % n_layer    
    with tf.name_scope(layer_name):    
        with tf.name_scope('weights'):    
            Weights = tf.Variable(tf.random_normal([in_size,out_size])) #变量    
            tf.summary.histogram(layer_name+"/weights",Weights) #可视化变量  
        with tf.name_scope('biases'):    
            biases = tf.Variable(tf.zeros([1,out_size])+0.1) #常量
            tf.summary.histogram(layer_name+"/biases",biases) #可视化常量
        with tf.name_scope('Wx_plus_b'):    
            Wx_plus_b = tf.matmul(inputs,Weights)+biases   
            tf.summary.histogram(layer_name+"/Wx_plus_b",Wx_plus_b)#可视化
        if activation_function is None:    
            outputs = Wx_plus_b    
        else:    
            outputs = activation_function(Wx_plus_b)    
        tf.summary.histogram(layer_name+"/outputs",outputs) #可视化
        return outputs    
#创建数据x_data，y_data    
x_data = np.linspace(-1,1,300)[:,np.newaxis] #[-1,1]区间，300个单位，np.newaxis增加维度    
noise = np.random.normal(0,0.05,x_data.shape) #噪点    
y_data = np.square(x_data)-0.5+noise 

with tf.name_scope('inputs'): #结构化    
    xs = tf.placeholder(tf.float32,[None,1],name='x_input')    
    ys = tf.placeholder(tf.float32,[None,1],name='y_input')    

#三层神经，输入层（1个神经元），隐藏层（10神经元），输出层（1个神经元）    
l1 = add_layer(xs,1,10,n_layer=1,activation_function=tf.nn.relu) #隐藏层    
prediction = add_layer(l1,10,1,n_layer=2,activation_function=None) #输出层    

#predition值与y_data差别    
with tf.name_scope('loss'):    
    loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys-prediction),reduction_indices=[1])) #square()平方,sum()求和,mean()平均值    
    tf.summary.scalar('loss',loss) #可视化观看常量    
with tf.name_scope('train'):    
    train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss) #0.1学习效率,minimize(loss)减小loss误差     
init = tf.global_variables_initializer()       
#合并到Summary中    
merged = tf.summary.merge_all()    
#选定可视化存储目录    
writer = tf.summary.FileWriter("Desktop/",sess.graph)    
sess.run(init) #先执行init    

#训练1k次    
for i in range(1000):    
    sess.run(train_step,feed_dict={xs:x_data,ys:y_data})    
    if i%50==0:    
        result = sess.run(merged,feed_dict={xs:x_data,ys:y_data}) #merged也是需要run的    
        writer.add_summary(result,i) #result是summary类型的，需要放入writer中，i步数（x轴）  

图3 网络结构细则图
（二）查看loss
如图4所示为网址打开之后的菜单，点击‘SCALARS’即可查看loss，点击‘GRAPHS’即可查看网络结构图

图4 tensorboard菜单图
如图5所示为loss随着迭代的变化图，可以看出随着训练过程进行，误差越来越小。

图5 loss数据变化图