tensorflow || tensorboard相关内容

@.查找tensorflow的安装位置

(1)  pip show tensorflow-gpu

(2)  python
      import tensorflow
      tensorflow.__path__

      dir(tensorflow)

@.终止程序的进程

       pkill -f 'tensorboard'

 

1.tensorboard概述

tensorboard的作用就是把复杂的神经网络训练过程可视化，可以更好的理解，调试并优化程序。tensorboard可以将训练的过程中的各种绘制数据展示出来，包括标量（scalars），图片（images）,音频（audio），计算图（graph），数据分布，直方图（histograms）：

(1) scalars中可以看到accuracy，cross entropy，dropout，layer的weights和bias等变化趋势
(2) images和audio中可以看到输入的数据。展示训练过程中记录的图像和音频
(3)graphs中可以看到模型的结构
(4)histogram可以看到activations，gradients或者weights等变量的每一步的分布，越靠前面就是越新的步数的结果。展示训练过程中记录的数据的分布图
(5)distribution和histogram是两种不同的形式，可以看到整体的状况
(6)embedding中可以看到PCA主成分分析方法将高维数据投影到3D空间后的数据的关系
(7)Event：展示训练过程中的统计数据（最值，均值等）变化情况

      使用tensorboard展示数据，需要在执行tensorflow计算图的过程中，将各类类型的数据汇总并记录到日志文件中。然后使用tensorboard读取这些日志文件，解析数据并生产数据可视化的Web页面，让我们在浏览器中观察各种汇总数据。

 

2.tensorboard相关函数

在训练代码里面相关函数使用的情况

#(1)汇总数据
tf.summary.scalar(tags, values, collections=None, name=None)
tf.summary.histogram(tags, values, collections=None, name=None)
tf.summary.image(tag, tensor, max_images=3, collections=None, name=None)
#(2)合并上面的数据
tf.summary.merge(input,collections=None, name=None)   #将上面的类型的汇总再进行一次合并，具体合并哪些由inputs指定
merged = tf.summary.merge_all(key='summaries')      #合并默认图形中的所有汇总

with tf.Session() as sess:
    #(3)创建一个文件记录器
    train_writer = tf.summary.FileWriter(path+'/train',*)
    val_writer = tf.summary.FileWriter(path+'/val'. *)

    #(4)在session里面执行，得到merged添加到文件记录器中
    summary, _, _, _ = sess.run(merged, optimizer, loss, layer, feed_dict={**})
    train_writer.add_summary(summary,step) #真正将汇总的数据写入到文件记录器中
    summay, _  = sess.run(merged, loss, feed_dict={**})
    val_writer.add_summary(summary,step)

上面的SummaryWriter是一个类，它可以调用一面的函数来向event文件中添加相关的数据add_summary()，add_session_log()，add_event()，add_graph()。

经常，我们在只有网络结构的时候，想要通过tensorboard查看网络图结构，只需：

with tf.Session() as sess:
    model = Model(...)  # 调用网络结构
    tf.summary.FileWriter( './log/train', sess.graph)

其他

上面定义的loss等内容，会在每个step训练都会记录到日志文件中。如果我们想要每个epoch训练结束后，记录该阶段的均值。就可以下面操作

train_writer = tf.summary.FileWriter(path+'/train',*)
loss, acc = sess.run([Loss, Acc], feed={...})
value = []
value.append(tf.Summary.Value(tag="loss", simple_value=loss))
value.append(tf.Summary.Value(tag="acc", simple_value=acc))
train_summary = tf.Summary(value=value)
train_writer.add_summary(train_summary, epoch)

3.通过日志可视化

(1)上面的内容是出现在训练代码当中，训练结束后会生成日志文件。
切换到linux终端命令下，执行tensorboard程序，并通过--logdir指定tensorflow日志路径，例：

tensorboard --logdir=/tmp/logs/

logdir指定的路径下，可以直接是日志文件，也可以是多个文件夹，每个文件夹里面是日志文件（如上例）

(2)执行上面的命令后，出现一条提示信息，复制其中的网址到浏览器，就可以看到数据可视化的图标来。

Starting TensorBoard b'39' on port 6006  
(You can naviiage to http://192.168.233.101.6006)

或者直接打开浏览器，输入网址http://localhost:6006（或者http://0.0.0.0:6006）。

(3)a.在确认安装了tensorboard后（使用pip3 install tensorboard即可安装），如果报错

ERROR:tensorflow:Tried to connect to port 6006, but address is in use.

   说明端口6006已经被占用，解决办法

[root@inspur example]# lsof -i:6006  
COMMAND     PID USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME  
tensorboa 28508 root    4u  IPv4 18373697      0t0  TCP *:6006 (LISTEN)  
[root@inspur example]# kill -9 28508  
[root@inspur example]# tensorboard --logdir=/tmp/tensorflow_logs  
Starting TensorBoard b'23' on port 6006  
(You can navigate to http://0.0.0.0:6006) 

如果上面的方法并不能解决问题，尝试下面命令，更换显示端口。

tensorboard --logdir=/tmp/logs/ --port=8008

4.MINIST代码例子讲解

# coding=utf-8  
  
import tensorflow as tf  
""" 
首先载入Tensorflow，并设置训练的最大步数为1000,学习率为0.001,dropout的保留比率为0.9。 
同时，设置MNIST数据下载地址data_dir和汇总数据的日志存放路径log_dir。 
这里的日志路径log_dir非常重要，会存放所有汇总数据供Tensorflow展示。 
"""  
  
from tensorflow.examples.tutorials.mnist import input_data  
max_step = 1000  
learning_rate = 0.001  
dropout = 0.9  
data_dir = '/tmp/tensorflow/mnist/input_data'  
log_dir = 'tmp/tensorflow/mnist/logs/mnist_with_summaries'  
  
# 使用input_data.read_data_sets下载MNIST数据，并创建Tensorflow的默认Session  
mnist = input_data.read_data_sets(data_dir, one_hot=True)  
sess = tf.InteractiveSession()  
  
""" 
为了在TensorBoard中展示节点名称，设计网络时会常使用tf.name_scope限制命名空间， 
在这个with下所有的节点都会自动命名为input/xxx这样的格式。 
定义输入x和y的placeholder，并将输入的一维数据变形为28×28的图片存储到另一个tensor， 
这样就可以使用tf.summary.image将图片数据汇总给TensorBoard展示了。 
"""  
with tf.name_scope('input'):  
    x = tf.placeholder(tf.float32, [None, 784], name='x_input')  
    y = tf.placeholder(tf.float32, [None, 10], name='y_input')  
  
with tf.name_scope('input_reshape'):  
    image_shaped_input = tf.reshape(x, [-1, 28, 28, 1])  
    tf.summary.image('input', image_shaped_input, 10)  
  
# 定义神经网络模型参数的初始化方法，  
# 权重依然使用常用的truncated_normal进行初始化，偏置则赋值为0.1  
def weight_variable(shape):  
    initial = tf.truncated_normal(shape, stddev=0.1)  
    return tf.Variable(initial)  
  
def bias_variable(shape):  
    initial = tf.constant(0.1, shape=shape)  
    return tf.Variable(initial)  
  
# 定义对Variable变量的数据汇总函数  
""" 
计算出Variable的mean,stddev,max和min， 
对这些标量数据使用tf.summary.scalar进行记录和汇总。 
同时，使用tf.summary.histogram直接记录变量var的直方图。 
"""  
def variable_summaries(var):  
    with tf.name_scope('summaries'):  
        mean = tf.reduce_mean(var)  
        tf.summary.scalar('mean', mean)  
        with tf.name_scope('stddev'):  
            stddev = tf.sqrt(tf.reduce_mean(tf.square(var-mean)))  
        tf.summary.scalar('stddev', stddev)  
        tf.summary.scalar('max', tf.reduce_max(var))  
        tf.summary.scalar('min', tf.reduce_min(var))  
        tf.summary.histogram('histogram', var)  
  
# 设计一个MLP多层神经网络来训练数据，在每一层中都会对模型参数进行数据汇总。  
""" 
定一个创建一层神经网络并进行数据汇总的函数nn_layer。 
这个函数的输入参数有输入数据input_tensor,输入的维度input_dim,输出的维度output_dim和层名称layer_name，激活函数act则默认使用Relu。 
在函数内，显示初始化这层神经网络的权重和偏置，并使用前面定义的variable_summaries对variable进行数据汇总。 
然后对输入做矩阵乘法并加上偏置，再将未进行激活的结果使用tf.summary.histogram统计直方图。 
同时，在使用激活函数后，再使用tf.summary.histogram统计一次。 
"""  
def nn_layer(input_tensor, input_dim, output_dim, layer_name,act=tf.nn.relu):  
    with tf.name_scope(layer_name):  
        with tf.name_scope('weight'):  
            weights = weight_variable([input_dim, output_dim])  
            variable_summaries(weights)  
        with tf.name_scope('biases'):  
            biases = bias_variable([output_dim])  
            variable_summaries(biases)  
        with tf.name_scope('Wx_plus_b'):  
            preactivate = tf.matmul(input_tensor, weights) + biases  
            tf.summary.histogram('pre_activations', preactivate)  
        activations = act(preactivate, name='actvations')  
        tf.summary.histogram('activations', activations)  
        return activations  
  
""" 
使用刚定义好的nn_layer创建一层神经网络，输入维度是图片的尺寸（784=24×24），输出的维度是隐藏节点数500. 
再创建一个Droput层，并使用tf.summary.scalar记录keep_prob。然后再使用nn_layer定义神经网络的输出层，激活函数为全等映射，此层暂时不使用softmax,在后面会处理。 
"""  
hidden1 = nn_layer(x, 784, 500, 'layer1')  
  
with tf.name_scope('dropout'):  
    keep_prob = tf.placeholder(tf.float32)  
    tf.summary.scalar('dropout_keep_probability', keep_prob)  
    dropped = tf.nn.dropout(hidden1, keep_prob)  
  
y1 = nn_layer(dropped, 500, 10, 'layer2', act=tf.identity)  
  
""" 
这里使用tf.nn.softmax_cross_entropy_with_logits()对前面输出层的结果进行softmax处理并计算交叉熵损失cross_entropy。 
计算平均损失，并使用tf.summary.saclar进行统计汇总。 
"""  
with tf.name_scope('cross_entropy'):  
    diff = tf.nn.softmax_cross_entropy_with_logits(logits=y1, labels=y)  
    with tf.name_scope('total'):  
        cross_entropy = tf.reduce_mean(diff)  
tf.summary.scalar('cross_entropy', cross_entropy)  
  
""" 
使用Adma优化器对损失进行优化，同时统计预测正确的样本数并计算正确率accuray， 
再使用tf.summary.scalar对accuracy进行统计汇总。 
"""  
with tf.name_scope('train'):  
    train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)  
with tf.name_scope('accuracy'):  
    with tf.name_scope('correct_prediction'):  
        correct_prediction = tf.equal(tf.argmax(y1, 1), tf.arg_max(y, 1))  
    with tf.name_scope('accuracy'):  
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))  
tf.summary.scalar('accuracy', accuracy)  
  
""" 
由于之前定义了非常多的tf.summary的汇总操作，一一执行这些操作态麻烦， 
所以这里使用tf.summary.merger_all()直接获取所有汇总操作，以便后面执行。 
然后，定义两个tf.summary.FileWrite(文件记录器)在不同的子目录，分别用来存放训练和测试的日志数据。 
同时，将Session的计算图sess.graph加入训练过程的记录器，这样在TensorBoard的GRAPHS窗口中就能展示整个计算图的可视化效果。 
最后使用tf.global_variables_initializer().run()初始化全部变量。 
"""  
merged = tf.summary.merge_all()  
train_writer = tf.summary.FileWriter(log_dir + '/train', sess.graph)  
test_writer = tf.summary.FileWriter(log_dir + '/test')  
tf.global_variables_initializer().run()  
  
""" 
定义feed_dict的损失函数。 
该函数先判断训练标记，如果训练标记为true,则从mnist.train中获取一个batch的样本，并设置dropout值; 
如果训练标记为False，则获取测试数据，并设置keep_prob为1,即等于没有dropout效果。 
"""  
def feed_dict(train):  
    if train:  
        xs, ys = mnist.train.next_batch(100)  
        k = dropout  
    else:  
        xs, ys = mnist.test.images, mnist.test.labels  
        k = 1.0  
    return {x: xs, y: ys, keep_prob: k}  
  
# 实际执行具体的训练，测试及日志记录的操作  
""" 
首先，使用tf.train.Saver()创建模型的保存器。 
然后，进入训练的循环中，每隔10步执行一次merged（数据汇总），accuracy（求测试集上的预测准确率）操作， 
并使应test_write.add_summary将汇总结果summary和循环步数i写入日志文件; 
同时每隔100步，使用tf.RunOption定义Tensorflow运行选项，其中设置trace_level为FULL——TRACE, 
并使用tf.RunMetadata()定义Tensorflow运行的元信息， 
这样可以记录训练是运算时间和内存占用等方面的信息. 
再执行merged数据汇总操作和train_step训练操作，将汇总summary和训练元信息run_metadata添加到train_writer. 
平时，则执行merged操作和train_step操作，并添加summary到trian_writer。 
所有训练全部结束后，关闭train_writer和test_writer。 
"""  
saver = tf.train.Saver()  
for i in range(max_step):  
    if i % 10 == 0:  
        summary, acc = sess.run([merged, accuracy], feed_dict=feed_dict(False))  
        test_writer.add_summary(summary, i)  
        print('Accuracy at step %s: %s' % (i, acc))  
    else:  
        if i % 100 == 99:  
            run_options = tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)  
            run_metadata = tf.RunMetadata()  
            summary, _ = sess.run([merged, train_step], feed_dict=feed_dict(True),  
                                  options=run_options, run_metadata=run_metadata)  
            train_writer.add_run_metadata(run_metadata, 'step%03d' % i)  
            train_writer.add_summary(summary, i)  
            saver.save(sess, log_dir+"/model.ckpt", i)  
            print('Adding run metadata for', i)  
        else:  
            summary, _ = sess.run([merged, train_step], feed_dict=feed_dict(True))  
            train_writer.add_summary(summary, i)  
train_writer.close()  
test_writer.close()