神经元Neuron,可以理解成装有一个数字的容器。
神经元中装着的数字代表对应像素的灰度值,0代表纯黑像素,1代表纯白像素。我们把神经元里装着的数叫“激活值(Activation)”
把所有神经元顺序排列就构成了网络的第一层,输入层。
网络最后一层十个神经元代表0到9这十个数字,激活值也在0~1之间。这些值表示系统认为输入的图像对应着哪个数字的可能性。
网络中还有隐藏层(Hidden Layers),里面就进行着处理识别数字的具体工作。
神经网络在工作中,上一层的激活值将决定下一层的激活值。也就是说神经网络处理信息的核心机制正是“一层激活值是通过怎样的运算,算出下一层的激活值”。
计算出来的加权和可能是任意大小,但在这个而网络中我们需要激活值在0~1之间,于是需要激活函数。
如图所示Sigmoid函数(也叫Logistics曲线)能把非常大的负值变化接近为0,把非常大的整数变化为接近为1,而在取值0附近是平稳增长的。
但是并不是所有时候大于0都需要被激活。过早激发出现了偏差。也许有时大于10激活才有意义ÿ