神经元与权重

 让我们来看一个经典的神经网络。这是一个包含三个层次的神经网络。红色的是输入层，绿色的是输出层，紫色的是中间层（也叫隐藏层）。输入层有3个输入单元，隐藏层有4个单元，输出层有2个单元。后文中，我们统一使用这种颜色来表达神经网络的结构。

图2 神经网络结构图

 

　　在开始介绍前，有一些知识可以先记在心里：

1. 设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定；
2. 神经网络结构图中的拓扑与箭头代表着预测过程时数据的流向，跟训练时的数据流有一定的区别；
3. 结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。 
4. 神经元是神经网络中最基本的结构，也可以说是神经网络的基本单元，它的设计灵感完全来源于生物学上神经元的信息传播机制。我们学过生物的同学都知道，神经元有两种状态：兴奋和抑制。一般情况下，大多数的神经元是处于抑制状态，但是一旦某个神经元收到刺激，导致它的电位超过一个阈值，那么这个神经元就会被激活，处于“兴奋”状态，进而向其他的神经元传播化学物质（其实就是信息）。
5. 如果神经元的输出，大于激活阈值，则神经元活跃，否则会抑制。而激活阈值由激活函数来获得。为了使得数值平滑，常采用Sigmod激活函数来达到曲线平滑的效果。而曲线平滑的标志，是连续性，又可以随处可导。

   sigmoid函数的表达式和分布图如下所示：

   

   一个神经网络的训练算法就是让权重的值调整到最佳，以使得整个网络的预测效果最好。 神经元可以看作一个计算与存储单元。计算是神经元对其的输入进行计算功能。存储是神经元会暂存计算结果，并传递到下一层。
   在训练模型过程中，已知的属性称之为特征，未知的属性称之为目标。神经网络的本质就是通过参数与激活函数来拟合特征与目标之间的真实函数关系