详解 TensorBoard－如何调参

什么是 TensorBoard

TensorBoard 是 TensorFlow 上一个非常酷的功能，我们都知道神经网络很多时候就像是个黑盒子，里面到底是什么样，是什么样的结构，是怎么训练的，可能很难搞清楚，而 TensorBoard 的作用就是可以把复杂的神经网络训练过程给可视化，可以更好地理解，调试并优化程序。

我们在建立神经网络模型解决问题时，例如想要用一个简单的 CNN 进行数字识别时，最想知道的就是什么样的模型，即 weights 和 bias 是多少的时候，可以使得 accuracy 达到较优，而这些变量都可以在 Tensorboard 中以一个可视化的方式看到，

• 在 scalars 下可以看到 accuracy，cross entropy，dropout，layer1 和 layer2 的 bias 和 weights 等的趋势。
• 在 images 和 audio 下可以看到输入的数据。
• 在 graphs 中可以看到模型的结构。
• 在 histogram 可以看到 activations，gradients 或者 weights 等变量的每一步的分布，越靠前面就是越新的步数的结果。
• distribution 和 histogram 是两种不同的形式，可以看到整体的状况。
• 在 embedding 中可以看到用 PCA 主成分分析方法将高维数据投影到 3D 空间后的数据的关系。

---

如何用 TensorBoard

在官网有两篇关于 TensorBoard 的教程，学习之后总感觉还是不太会用，只是讲了如何做出图来，可是到底该怎么发挥 TensorBoard 的功能呢，不能只是看看热闹，画出来图了，该怎么解读呢？

今天就来个更充实的，仍然以 MNIST 为例，来看如何一点点完善一个 model。

下面是一个普通的 convolutional 网络结构，我们全文会在这个结构上进行调优：

这是初级的代码：

先来看一下它的训练结果：

接下来将分为以下几步：

• step 1: 查看 graph 结构
• step 2：查看 accuracy，weights，biases
• step 3: 修改 code
• step 4: 选择最优模型
• step 5: 用 embedding 进一步查看 error 出处

---

那让我们来打开 board ，看发生了什么，为什么这么低

step 1: 查看 graph 结构

想要可视化 graph，就先只传一个 graph 进去

在左边我们看到了一个 convolution，
在右边还有一些东西不知道哪里来的：

<