tensorflow tf.summary用法总结

原文链接：https://blog.csdn.net/jasminexjf/article/details/82817912

tensorboard 作为一款可视化神器，可以说是学习tensorflow时模型训练以及参数可视化的法宝。

而在训练过程中，主要用到了tf.summary()的各类方法，能够保存训练过程以及参数分布图并在tensorboard显示。

tf.summary有诸多函数：

1、tf.summary.scalar

用来显示标量信息，其格式为：

tf.summary.scalar(tags, values, collections=None, name=None)
 
 

例如：tf.summary.scalar('mean', mean)

一般在画loss,accuary时会用到这个函数。

2、tf.summary.histogram

用来显示直方图信息，其格式为：

tf.summary.histogram(tags, values, collections=None, name=None) 
 
 

例如： tf.summary.histogram('histogram', var)

一般用来显示训练过程中变量的分布情况

3、tf.summary.distribution

分布图，一般用于显示weights分布

4、tf.summary.text

可以将文本类型的数据转换为tensor写入summary中：

例如：

 
 

   
   

    
    

   
   
   
   

    
    

     
     text = """/a/b/c\\_d/f\\_g\\_h\\_2017"""
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     summary_op0 = tf.summary.text('text', tf.convert_to_tensor(text))
    
    
   
   
 
 

5、tf.summary.image

输出带图像的probuf，汇总数据的图像的的形式如下： ' tag /image/0', ' tag /image/1'...，如：input/image/0等。

格式：tf.summary.image(tag, tensor, max_images=3, collections=None, name=Non

6、tf.summary.audio

展示训练过程中记录的音频 

7、tf.summary.merge_all

merge_all 可以将所有summary全部保存到磁盘，以便tensorboard显示。如果没有特殊要求，一般用这一句就可一显示训练时的各种信息了。

格式：tf.summaries.merge_all(key='summaries')

8、tf.summary.FileWriter

指定一个文件用来保存图。

格式：tf.summary.FileWritter(path,sess.graph)

可以调用其add_summary（）方法将训练过程数据保存在filewriter指定的文件中

Tensorflow Summary 用法示例:

 
 

   
   

    
    

   
   
   
   

    
    

     
     tf.summary.scalar(
     
     'accuracy',acc)                   
     
     #生成准确率标量图  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     merge_summary = tf.summary.merge_all()  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     train_writer = tf.summary.FileWriter(dir,sess.graph)
     
     #定义一个写入summary的目标文件，dir为写入文件地址  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     ......(交叉熵、优化器等定义)  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     for step 
     
     in xrange(training_step):                  
     
     #训练循环  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
         train_summary = sess.run(merge_summary,feed_dict =  {...})
     
     #调用sess.run运行图，生成一步的训练过程数据  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
         train_writer.add_summary(train_summary,step)
     
     #调用train_writer的add_summary方法将训练过程以及训练步数保存 
    
    
   
   
 
 

此时开启tensorborad：

1. tensorboard --logdir=/summary_dir 

便能看见accuracy曲线了。

另外，如果我不想保存所有定义的summary信息，也可以用tf.summary.merge方法有选择性地保存信息：

9、tf.summary.merge

格式：tf.summary.merge(inputs, collections=None, name=None)

一般选择要保存的信息还需要用到tf.get_collection()函数

示例：

 
 

   
   

    
    

   
   
   
   

    
    

     
     tf.summary.scalar(
     
     'accuracy',acc)                   
     
     #生成准确率标量图  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     merge_summary = tf.summary.merge([tf.get_collection(tf.GraphKeys.SUMMARIES,
     
     'accuracy'),...(其他要显示的信息)])  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     train_writer = tf.summary.FileWriter(dir,sess.graph)
     
     #定义一个写入summary的目标文件，dir为写入文件地址  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     ......(交叉熵、优化器等定义)  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     for step 
     
     in xrange(training_step):                  
     
     #训练循环  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
         train_summary = sess.run(merge_summary,feed_dict =  {...})
     
     #调用sess.run运行图，生成一步的训练过程数据  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
         train_writer.add_summary(train_summary,step)
     
     #调用train_writer的add_summary方法将训练过程以及训练步数保存  
    
    
   
   
 
 

使用tf.get_collection函数筛选图中summary信息中的accuracy信息，这里的 tf.GraphKeys.SUMMARIES  是summary在collection中的标志。
 
 

当然，也可以直接：

 
 

   
   

    
    

   
   
   
   

    
    

     
     acc_summary = tf.summary.scalar(
     
     'accuracy',acc)                   
     
     #生成准确率标量图  
    
    
   
   

   
   

    
    

   
   
   
   

    
    

     
     merge_summary = tf.summary.merge([acc_summary ,...(其他要显示的信息)])  
     
     #这里的[]不可省
    
    
   
   
 
 

 如果要在tensorboard中画多个数据图，需定义多个tf.summary.FileWriter并重复上述过程。

这里有一段代码供阅读参考用法：

with tf.Graph().as_default():
    session_conf = tf.ConfigProto(
      allow_soft_placement=FLAGS.allow_soft_placement,   #是否允许tensorflow进行运算的软分配
      log_device_placement=FLAGS.log_device_placement)   ##是否允许tensorflow打印操作步骤    
    sess = tf.Session(config=session_conf)
    with sess.as_default():
        cnn = TextCNN(
            sequence_length=x_train.shape[1],
            num_classes=y_train.shape[1],
            vocab_size=len(vocab_processor.vocabulary_),
            embedding_size=FLAGS.embedding_dim,
            filter_sizes=list(map(int, FLAGS.filter_sizes.split(","))),
            num_filters=FLAGS.num_filters,
            l2_reg_lambda=FLAGS.l2_reg_lambda)        #L2正则化的系数lambda
        #另外一种计算梯度下降的方式，之前的都是tf.compat.v1.train.GradientDescentOptimizer(0.2).minimize(loss)
        # Define Training procedure
        global_step = tf.Variable(0, name="global_step", trainable=False)
        optimizer = tf.train.AdamOptimizer(1e-3)
        grads_and_vars = optimizer.compute_gradients(cnn.loss)    #计算梯度 
        train_op = optimizer.apply_gradients(grads_and_vars, global_step=global_step) #将compute_gradients()返回的值作为输入参数对variable进行更新

        # Keep track of gradient values and sparsity (optional)
        grad_summaries = []
        for g, v in grads_and_vars:
            if g is not None:
                grad_hist_summary = tf.summary.histogram("{}/grad/hist".format(v.name), g)        #tf.summary显示梯度的直方图
                sparsity_summary = tf.summary.scalar("{}/grad/sparsity".format(v.name), tf.nn.zero_fraction(g))   #tf.nn.zero_fraction计算所0在tensor类型的占比
                grad_summaries.append(grad_hist_summary)
                grad_summaries.append(sparsity_summary)
        grad_summaries_merged = tf.summary.merge(grad_summaries)   #相当于把信息合并

        # Output directory for models and summaries
        timestamp = str(int(time.time()))     #得到当前的时间
        out_dir = os.path.abspath(os.path.join(os.path.curdir, "runs", timestamp))   #根据时间定义了一个路径
        print("Writing to {}\n".format(out_dir))

        # Summaries for loss and accuracy
        loss_summary = tf.summary.scalar("loss", cnn.loss)
        acc_summary = tf.summary.scalar("accuracy", cnn.accuracy)

        # Train Summaries
        train_summary_op = tf.summary.merge([loss_summary, acc_summary, grad_summaries_merged]) #合并信息
        train_summary_dir = os.path.join(out_dir, "summaries", "train")  #定义训练可视化信息保存的路径
        train_summary_writer = tf.summary.FileWriter(train_summary_dir, sess.graph)

        # Dev summaries
        dev_summary_op = tf.summary.merge([loss_summary, acc_summary])
        dev_summary_dir = os.path.join(out_dir, "summaries", "dev")
        dev_summary_writer = tf.summary.FileWriter(dev_summary_dir, sess.graph)

        # Checkpoint directory. Tensorflow assumes this directory already exists so we need to create it
        checkpoint_dir = os.path.abspath(os.path.join(out_dir, "checkpoints"))   #返回绝对路径
        checkpoint_prefix = os.path.join(checkpoint_dir, "model")
        if not os.path.exists(checkpoint_dir):
            os.makedirs(checkpoint_dir)
        saver = tf.train.Saver(tf.global_variables(), max_to_keep=FLAGS.num_checkpoints)  #保存模型

        # Write vocabulary
        vocab_processor.save(os.path.join(out_dir, "vocab"))  #保存生成的词库

        # Initialize all variables
        sess.run(tf.global_variables_initializer())   

        def train_step(x_batch, y_batch):
            """
            A single training step
            """
            feed_dict = {
              cnn.input_x: x_batch,
              cnn.input_y: y_batch,
              cnn.dropout_keep_prob: FLAGS.dropout_keep_prob
            }
            _, step, summaries, loss, accuracy = sess.run(
                [train_op, global_step, train_summary_op, cnn.loss, cnn.accuracy],
                feed_dict)
            time_str = datetime.datetime.now().isoformat()       #获取当前的时间
            print("{}: step {}, loss {:g}, acc {:g}".format(time_str, step, loss, accuracy))
            train_summary_writer.add_summary(summaries, step)

        def dev_step(x_batch, y_batch, writer=None):
            """
            Evaluates model on a dev set
            """
            feed_dict = {
              cnn.input_x: x_batch,
              cnn.input_y: y_batch,
              cnn.dropout_keep_prob: 1.0
            }
            step, summaries, loss, accuracy = sess.run(
                [global_step, dev_summary_op, cnn.loss, cnn.accuracy],
                feed_dict)
            time_str = datetime.datetime.now().isoformat()
            print("{}: step {}, loss {:g}, acc {:g}".format(time_str, step, loss, accuracy))
            if writer:
                writer.add_summary(summaries, step)        #这里Writer还没有给他赋值，后面后面调用函数的时候有赋值tf.summary.FileWrite

        # Generate batches
        batches = data_helpers.batch_iter(
            list(zip(x_train, y_train)), FLAGS.batch_size, FLAGS.num_epochs)
        # Training loop. For each batch...
        for batch in batches:
            x_batch, y_batch = zip(*batch)
            train_step(x_batch, y_batch)
            current_step = tf.train.global_step(sess, global_step)
            if current_step % FLAGS.evaluate_every == 0:            #每隔多少步的训练后，评估一次，并保存模型
                print("\nEvaluation:")
                dev_step(x_dev, y_dev, writer=dev_summary_writer)
                print("")
            if current_step % FLAGS.checkpoint_every == 0:
                path = saver.save(sess, checkpoint_prefix, global_step=current_step)
                print("Saved model checkpoint to {}\n".format(path))