神经网络-激活值的世界

从初始激活值开始，通过训练好的参数，得到下层网络的激活值，层层传递得到新激活值的过程，就是神经网络的运算本质。

采用Relu激活函数的情况下，每个神经元的取值范围都应该在0~1之间。

个人认为，激活函数=得到激活值的函数 

之所以用Relu取代了Sigmoid函数，据说是Relu能在多层神经元时候表现更好，降低过拟合。这个需要继续学习才能明白。

Relu = max (0, x)

人们在尝试识别手写体的过程中，将自己大脑识别数字的过程用程序和数学结合的方式表达了出来，这就是神经元的由来。

为什么我们能识别出写的歪歪扭扭的数字9？ 因为我们能看到数字9的两个特征：

1，上面是个圈----不管是圆形，椭圆形，正/斜，闭合/接近闭合 

2，下面是个线----直线/弧线 都可以，但是要和上面圆形相接，且结合点必须在圆的右下角，和圆的右侧接近组成一个线段

神经元识别就是基本按照这个方式来实现的。只不过会拆分的更细一些

第三层如果圈和竖线对应的神经元的激活值很高，假设接近1 .这样输出层在计算每个数字的激活值的时候，数字9的激活值就是最高的。

每层的激活值（除了第一层），都是由上一层的激活值运算得到的。