[干货|实践] Tensorflow可视化

TensorBoard

1. 简介：TensorBoard是tensorflow官方推出的可视化工具，它可以将模型训练过程中的各种汇总数据展示出来，包括标量(Scalars)、图片(Images)、音频(Audio)、计算图(Graphs)、数据分布(Distributions)、直方图(Histograms)和潜入向量(Embeddigngs)。
2. 作用：tensorflow代码执行过程是先构建图，然后在执行，所以对中间过程的调试不太方便；除此之外，在使用tensorflow训练大型深度学习神经网络时，中间的计算过程可能非常复杂，因此为了理解、调试和优化网络，可以使用TensorBoard观察训练过程中的各种可视化数据。

---

TensorBoard可视化过程

在将可视化过程之前，为了方便理解，对之中设计的一些概念做一个简要介绍。

什么是Graph和Session

graph定义了computation，它不计算任何东西，不包含任何值，只是定义了你在代码中指定的操作。关于graph的官方文档地址：tf.Graph。若不建立graph，TensorFlow在加载库的时候会地创建图，并且将这个图指定为默认图。可以通过使用tf.get_default_graph()函数获得默认图的句柄。在大多数的TensorFlow程序中，都只是用默认图（graph）来处理。不过，当你定义的多个模型没有相互内在的依赖的情况下，创建多个图的时候很有用。下面，我们一个变量和三个操作定义一个图形：==variable==返回变量的当前值。 ==initialize==将42的初始值赋给那个变量。 ==assign==给该变量赋值13的新值。

#Defining the Graph
graph = tf.Graph()
with graph.as_default():
  variable = tf.Variable(42, name='foo')
  initialize = tf.global_variables_initializer()
  assign = variable.assign(13)

Session会话允许执行graph或graph的一部分。它为此分配资源（在一台或多台机器上）并保存中间结果和变量的实际值。要运行上面三个定义的操作中的任何一个时，我们需要为该graph创建一个会话Session。 因此会话Session需要分配内存来存储变量的当前值。

#Running Computations in a Session
with tf.Session(graph=graph) as sess:
  sess.run(initialize)
  sess.run(assign)
  print(sess.run(variable))
# Output: 13

可视化过程

1. 先建立一个graph
2. 确定要在graph中的哪些节点放置summary operations以记录信息
   使用tf.summary.scalar记录标量
   使用tf.summary.histogram记录数据的直方图
   使用tf.summary.distribution记录数据的分布图
   使用tf.summary.image记录图像数据
   ……
3. operations并不会去真的执行计算，除非你告诉他们需要去run,或者它被其他的需要run的operation所依赖。而我们上一步创建的这些summary operations其实并不被其他节点依赖，因此，我们需要特地去运行所有的summary节点。但是呢，一份程序下来可能有超多这样的summary 节点，要手动一个一个去启动自然是及其繁琐的，因此我们可以使用tf.summary.merge_all去将所有summary节点合并成一个节点，只要运行这个节点，就能产生所有我们之前设置的summary data。
4. 使用tf.summary.FileWriter将运行后输出的数据都保存到本地磁盘中
5. 运行整个程序，并在命令行输入运行tensorboard的指令，之后打开web端可查看可视化的结果

Tensorboard使用案例

使用最基础的识别手写字体的案例,建立一个简单的神经网络，让大家了解如何使用Tensorboard。可以从github获得源码。

导入包，定义超参数，载入数据

1. 首先还是导入需要的包：

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import argparse
import sys
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

1. 定义固定的超参数,方便待使用时直接传入。如果你问，这个超参数为啥要这样设定，如何选择最优的超参数？这个问题此处先不讨论，超参数的选择在机器学习建模中最常用的方法就是“交叉验证法”。而现在假设我们已经获得了最优的超参数，设置学利率为0.001，dropout的保