本节书摘来异步社区《TensorFlow技术解析与实战》一书中的第3章,第3.1节,作者:李嘉璇,更多章节内容可以访问云栖社区“异步社区”公众号查看。
3.1 PlayGround
PlayGround[1]是一个用于教学目的的简单神经网络的在线演示、实验的图形化平台,非常强大地可视化了神经网络的训练过程。使用它可以在浏览器里训练神经网络,对Tensorflow有一个感性的认识。
PlayGround界面从左到右由数据(DATA)、特征(FEATURES)、神经网络的隐藏层(HIDDEN LAYERS)和层中的连接线和输出(OPUPUT)几个部分组成,如图3-1所示。
![381d4fdbad8ec248155842d8bea4564f17459b60](https://i-blog.csdnimg.cn/blog_migrate/89e36171353fbb695146bb0133c34705.png)
3.1.1 数据
在二维平面内,点被标记成两种颜色。深色(电脑屏幕显示为蓝色)代表正值,浅色(电脑屏幕显示为黄色)代表负值。这两种颜色表示想要区分的两类,如图3-2所示。
![116363fd6185b119e1dfa0eb7c20dfc47f0e2286](https://i-blog.csdnimg.cn/blog_migrate/a5d5c6c4b691d46c9cebbf1b0a8b4f62.png)
网站提供了4种不同形态的数据,分别是圆形、异或、高斯和螺旋,如图3-3所示。神经网络会根据所给的数据进行训练,再分类规律相同的点。
![9050998851a8a5025a280e9c0be4fa97b543dabd](https://i-blog.csdnimg.cn/blog_migrate/a2014cc693c64a5579f34240dcba9976.png)
PlayGournd中的数据配置非常灵活,可以调整噪声(noise)的大小。图3-4展示的是噪声为0、25和50时的数据分布。
![8b83d879cc61e77353aaf75bddb64ca5f394af2f](https://i-blog.csdnimg.cn/blog_migrate/cc28466fa7b6a849957e03dc24353225.png)
PlayGournd中也可以改变训练数据和测试数据的比例(ratio)。图3-5展示的是训练数据和测试数据比例为1 : 9和9 : 1时的情况。
![812224483c1f5b7008f63dbf90237571a1aebfc6](https://i-blog.csdnimg.cn/blog_migrate/1df9b6b631736c8d6dba35a9c20e0086.png)
此外,PlayGournd中还可以调整输入的每批(batch)数据的多少,调整范围可以是1~30,就是说每批进入神经网络数据的点可以1~30个,如图3-6所示。
![dfa2e605c2bfe3ffa2fb8a6c7596a5e873ffc75d](https://i-blog.csdnimg.cn/blog_migrate/f867c31ab7f475ebb52d3190167f8f7c.png)
3.1.2 特征
接下来我们需要做特征提取(feature extraction),每一个点都有X1和X2两个特征,由这两个特征还可以衍生出许多其他特征,如X1X1、X2X2、X1X2、sin(X1)、sin(X2)等,如图3-7所示。
![eb9a49d8b974619a321c3055a1aad0f1f5963a8d](https://i-blog.csdnimg.cn/blog_migrate/3c51b74a6dfb33af774b6345b2e18290.png)
从颜色上,X1左边浅色(电脑屏幕显示为黄色)是负,右边深色(电脑屏幕显示为蓝色)是正,X1表示此点的横坐标值。同理,X2上边深色是正,下边浅色是负,X2表示此点的纵坐标值。X1X1是关于横坐标的“抛物线”信息,X2X2是关于纵坐标的“抛物线”信息,X1X2是“双曲抛物面”的信息,sin(X1)是关于横坐标的“正弦函数”信息,sin(X2)是关于纵坐标的“正弦函数”信息。
因此,我们要学习的分类器(classifier)就是要结合上述一种或者多种特征,画出一条或者多条线,把原始的蓝色和黄色数据分开。
3.1.3 隐藏层
我们可以设置隐藏层的多少,以及每个隐藏层神经元的数量,如图3-8所示。
![b06553ad480e22aec1c671f5ff069c25f7c47beb](https://i-blog.csdnimg.cn/blog_migrate/9881123543fd413eaece714f49a3b3de.png)
隐藏层之间的连接线表示权重(weight),深色(蓝色)表示用神经元的原始输出,浅色(黄色)表示用神经元的负输出。连接线的粗细和深浅表示权重的绝对值大小。鼠标放在线上可以看到具体值,也可以修改值,如图3-9所示.
![fef10f4837e0c9883e3be9ad7154373651671636](https://i-blog.csdnimg.cn/blog_migrate/6d353e2487ff64921357e94182079994.png)
修改值时,同时要考虑激活函数,例如,当换成Sigmoid时,会发现没有负向的黄色区域了,因为Sigmoid的值域是(0,1),如图3-10所示。
![ca5c17abd7a18b31b3c161486f9701bff99f9a70](https://i-blog.csdnimg.cn/blog_migrate/5204f997c797425352ded794829ce719.png)
下一层神经网络的神经元会对这一层的输出再进行组合。组合时,根据上一次预测的准确性,我们会通过反向传播给每个组合不同的权重。组合时连接线的粗细和深浅会发生变化,连接线的颜色越深越粗,表示权重越大。
3.1.4 输出
输出的目的是使黄色点都归于黄色背景,蓝色点都归于蓝色背景,背景颜色的深浅代表可能性的强弱。
我们选定螺旋形数据,7个特征全部输入,进行试验。选择只有3个隐藏层时,第一个隐藏层设置8个神经元,第二个隐藏层设置4个神经元,第三个隐藏层设置2个神经元。训练大概2分钟,测试损失(test loss)和训练损失(training loss)就不再下降了。训练完成时可以看出,我们的神经网络已经完美地分离出了橙色点和蓝色点,如图3-11所示。
![cd8db1608164a48c4da0f61cff8cd64ca256d701](https://i-blog.csdnimg.cn/blog_migrate/89d741a1beb00d6722ddcf353408b377.png)
假设我们只输入最基本的前4个特征,给足多个隐藏层,看看神经网络的表现。假设加入6个隐藏层,前4层每层有8个神经元,第五层有6个神经元,第六层有2个神经元。结果如图3-12所示。
![51a253fb9e87b2d7077c80b7a8f1fb3120b4e017](https://i-blog.csdnimg.cn/blog_migrate/a6069037f5b5ea19b00d834b04561c46.png)
我们发现,通过增加神经元的个数和神经网络的隐藏层数,即使没有输入许多特征,神经网络也能正确地分类。但是,假如我们要分类的物体是猫猫狗狗的图片,而不是肉眼能够直接识别出特征的黄点和蓝点呢?这时候怎样去提取那些真正有效的特征呢?
有了神经网络,我们的系统自己就能学习到哪些特征是有效的、哪些是无效的,通过自己学习的这些特征,就可以做到自己分类,这就大大提高了我们解决语音、图像这种复杂抽象问题的能力。