前向网络（感知机、 BP网络、竞争学习网络）

输入层(input layer)：输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；
隐藏层(Hidden Layer):中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程；
输出层(Output Layer):顾名思义，输出层向外界输出信息处理结果；
神经网络的学习过程，就是根据训练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值。
BP神经网络算法（误差逆传播 error BackPropagation）

BP是一个迭代学习的算法，在迭代中的每一轮采用上述感知机的学习规则对参数进行更新估计



Tip: 此处为“标准BP算法”更新规则是仅针对一个训练样例来更新连接权和阈值，若要根据累积误差最小化的更新规则，就得到了累积误差逆传播算法。标准BP和累积BP的区别：由于更新规则不同，为了达到同样的累积误差极小点，标准BP需要迭代的次数更多.