《TensorFlow技术解析与实战》——3.1 PlayGround

本节书摘来异步社区《TensorFlow技术解析与实战》一书中的第3章，第3.1节，作者：李嘉璇，更多章节内容可以访问云栖社区“异步社区”公众号查看。

3.1　PlayGround

PlayGround[1]是一个用于教学目的的简单神经网络的在线演示、实验的图形化平台，非常强大地可视化了神经网络的训练过程。使用它可以在浏览器里训练神经网络，对Tensorflow有一个感性的认识。

PlayGround界面从左到右由数据（DATA）、特征（FEATURES）、神经网络的隐藏层（HIDDEN LAYERS）和层中的连接线和输出（OPUPUT）几个部分组成，如图3-1所示。

3.1.1　数据

在二维平面内，点被标记成两种颜色。深色（电脑屏幕显示为蓝色）代表正值，浅色（电脑屏幕显示为黄色）代表负值。这两种颜色表示想要区分的两类，如图3-2所示。

网站提供了4种不同形态的数据，分别是圆形、异或、高斯和螺旋，如图3-3所示。神经网络会根据所给的数据进行训练，再分类规律相同的点。

PlayGournd中的数据配置非常灵活，可以调整噪声（noise）的大小。图3-4展示的是噪声为0、25和50时的数据分布。

PlayGournd中也可以改变训练数据和测试数据的比例（ratio）。图3-5展示的是训练数据和测试数据比例为1 : 9和9 : 1时的情况。

此外，PlayGournd中还可以调整输入的每批（batch）数据的多少，调整范围可以是1～30，就是说每批进入神经网络数据的点可以1～30个，如图3-6所示。

3.1.2　特征

接下来我们需要做特征提取（feature extraction），每一个点都有X1和X2两个特征，由这两个特征还可以衍生出许多其他特征，如X1X1、X2X2、X1X2、sin(X1)、sin(X2)等，如图3-7所示。

从颜色上，X1左边浅色（电脑屏幕显示为黄色）是负，右边深色（电脑屏幕显示为蓝色）是正，X1表示此点的横坐标值。同理，X2上边深色是正，下边浅色是负，X2表示此点的纵坐标值。X1X1是关于横坐标的“抛物线”信息，X2X2是关于纵坐标的“抛物线”信息，X1X2是“双曲抛物面”的信息，sin(X1)是关于横坐标的“正弦函数”信息，sin(X2)是关于纵坐标的“正弦函数”信息。

因此，我们要学习的分类器（classifier）就是要结合上述一种或者多种特征，画出一条或者多条线，把原始的蓝色和黄色数据分开。

3.1.3　隐藏层

我们可以设置隐藏层的多少，以及每个隐藏层神经元的数量，如图3-8所示。

隐藏层之间的连接线表示权重（weight），深色（蓝色）表示用神经元的原始输出，浅色（黄色）表示用神经元的负输出。连接线的粗细和深浅表示权重的绝对值大小。鼠标放在线上可以看到具体值，也可以修改值，如图3-9所示.

修改值时，同时要考虑激活函数，例如，当换成Sigmoid时，会发现没有负向的黄色区域了，因为Sigmoid的值域是(0,1)，如图3-10所示。

下一层神经网络的神经元会对这一层的输出再进行组合。组合时，根据上一次预测的准确性，我们会通过反向传播给每个组合不同的权重。组合时连接线的粗细和深浅会发生变化，连接线的颜色越深越粗，表示权重越大。

3.1.4　输出

输出的目的是使黄色点都归于黄色背景，蓝色点都归于蓝色背景，背景颜色的深浅代表可能性的强弱。

我们选定螺旋形数据，7个特征全部输入，进行试验。选择只有3个隐藏层时，第一个隐藏层设置8个神经元，第二个隐藏层设置4个神经元，第三个隐藏层设置2个神经元。训练大概2分钟，测试损失（test loss）和训练损失（training loss）就不再下降了。训练完成时可以看出，我们的神经网络已经完美地分离出了橙色点和蓝色点，如图3-11所示。

假设我们只输入最基本的前4个特征，给足多个隐藏层，看看神经网络的表现。假设加入6个隐藏层，前4层每层有8个神经元，第五层有6个神经元，第六层有2个神经元。结果如图3-12所示。

我们发现，通过增加神经元的个数和神经网络的隐藏层数，即使没有输入许多特征，神经网络也能正确地分类。但是，假如我们要分类的物体是猫猫狗狗的图片，而不是肉眼能够直接识别出特征的黄点和蓝点呢？这时候怎样去提取那些真正有效的特征呢？

有了神经网络，我们的系统自己就能学习到哪些特征是有效的、哪些是无效的，通过自己学习的这些特征，就可以做到自己分类，这就大大提高了我们解决语音、图像这种复杂抽象问题的能力。